谷歌推出的DiLoCo分布式训练方法，其Scaling Law比数据并行更稳健、更优越、更高效、更强大，其模型规模越大优势越明显，有效解决通信瓶颈，为大模型训练开辟新可能。网友称DiLoCo可能会重新定义Scaling的方式。

MilkThink团队 投稿量子位 | 公众号 QbitAI 事关路由LLM（Routing LLM），一项截至目前最全面的研究，来了—— 共计收集和整理了涉及8500+个LLM，在12个Benchmark上的共2亿条性能记录！ 先来简单科普一下路由LLM。 这种方法主要是把像ChatGPT、Qwen、DeepSeek这些成型的LLM当作 “专家” ，当给一个输入的时候，有分类能力的Router（ ...