# GEM 训练：Meta 如何将其 LLM 规模的广告基础模型效率提高一倍

- 原标题：GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model
- 类型：博客
- 来源：Meta 工程博客
- 发布时间：2026-08-04
- 首次精选：2026-10-26 22:22
- 分级：值得看
- 原文链接：[https://engineering.fb.com/2026/08/03/ml-applications/training-gem-at-llm-scale-meta-ads-recommendation-foundation-model](<https://engineering.fb.com/2026/08/03/ml-applications/training-gem-at-llm-scale-meta-ads-recommendation-foundation-model>)
- 本站页面：[https://oplearnx.com/resources/pk\_3e1621810110](<https://oplearnx.com/resources/pk_3e1621810110>)

## 摘要

这是 Meta 工程博客的一篇文章，介绍其生成式广告推荐模型 GEM（支撑 Instagram 与 Facebook 广告推荐的基础模型）如何在数千块最新一代 GPU 上以 LLM 规模训练。文中称通过协同设计内核、精度、并行、网络和内存，端到端训练效率翻倍至 20–25% MFU，同时在 12 个月内把训练 FLOPs 扩大 4 倍。文章指出该模型结合混合架构与推荐领域数据特性，与典型 LLM 负载不同，因此为 LLM 训练优化的内核、并行策略和低精度方案不能直接套用；具体手段包括面向推荐负载定制的内核库（如 Jagged Flash Attention、Generalized Dot-Product Attention、BlockAttention）和混合超低精度训练（包括 MXFP8 注意力与 MLP），以及拓扑感知的 5D 并行等扩展效率优化。

## 原文涉及

- [Collective Communication for 100k\+ GPUs](<https://arxiv.org/abs/2510.20171>)

---
来源：LearnMap · 学径（https://oplearnx.com）