博客
GEM 训练：Meta 如何将其 LLM 规模的广告基础模型效率提高一倍
GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model
这是 Meta 工程博客的一篇文章，介绍其生成式广告推荐模型 GEM（支撑 Instagram 与 Facebook 广告推荐的基础模型）如何在数千块最新一代 GPU 上以 LLM 规模训练。文中称通过协同设计内核、精度、并行、网络和内存，端到端训练效率翻倍至 20–25% MFU，同时在 12 个月内把训练 FLOPs 扩大 4 倍。文章指出该模型结合混合架构与推荐领域数据特性，与典型 LLM 负载不同，因此为 LLM 训练优化的内核、并行策略和低精度方案不能直接套用；具体手段包括面向推荐负载定制的内核库（如 Jagged Flash Attention、Generalized Dot-Product Attention、BlockAttention）和混合超低精度训练（包括 MXFP8 注意力与 MLP），以及拓扑感知的 5D 并行等扩展效率优化。
- 分级
- 值得看
- 所属主题
- 整理中
- 收录时间
- 2026-10-26