《计算孤岛训练搭车指南》

Core Automation 的一篇长文，主张跨集群、真正分布式地训练模型。文中称其在一个稀疏混合专家模型上做了实验：跨两个规模不同、GPU 类型不同、相隔近半个地球、由 25 Gbps 双向链路连接的集群训练，并重新采用 butterfly mixing，用八个学习器之间的成对交换替代 all-reduce，效果与标准训练相当。文章还引述电力、电网设备、土地成为加速计算部署瓶颈，以及变压器交付周期、燃气轮机排期、地方反对导致项目取消等公开信息。适合关注大规模分布式训练与算力基础设施的人阅读。