我从零训练了一个 21B MoE（激活 3.36B），用了 70B token（涌现能力观察）
I trained a 21B MoE (3.36B active) from scratch on 70B tokens (emergent ability observations)
这是一篇 Reddit r/LocalLLaMA 社区帖子，作者从零训练了 Apex-3：20.99B 参数 MoE、每 token 激活 3.36B，64 个路由专家加 1 个共享专家（top-4），使用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，无外部预训练权重，并放出稳定 checkpoint 供他人继续训练。帖子聚焦训练日志中的现象，主要报告上下文学习（归纳头）在约 0.33B token 内出现约 5 倍增长的明显相变，以及算术任务最终准确率 0.655–0.665 等数据。适合从零训练小型 MoE、关注训练动力学与涌现能力观察的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-29
原帖
Bottom line: the only clean phase transition I observed is the ICL / induction-head jump around 1.3B to 1.5B tokens. Arithmetic looks abrupt in exact match but is continuous in probability. Everything else was gradual.
中文大意
发帖人从零训练了 Apex-3：20.99B 参数 MoE（每 token 激活 3.36B），64 个路由专家加 1 个共享专家（top-4），用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，仅用 70B token（称 SuperBPE 约带来 27% token 效率，相当于约 100B），并发布了可继续训练的 checkpoint 与代码、日志。主要观察：唯一清晰的相变是 1.3B–1.5B token 附近 ICL/归纳头跃升（分数由 -0.08~-0.14 到 -0.69，约 0.33B token 内涨 5 倍）；算术 exact match 的突跳是阈值效应，正确 token 概率是连续上升的，60B–70B 的 decay 带来更大提升（总体 0.52→0.67，add3 0.44→0.78，chain3 0.13→0.38）；各领…
讨论区核心观点
依据 14 条评论
- 有评论问从零训练时如何确定总参数与激活参数；发帖人回复说取决于计算与目标权衡，有人以单卡推理能放下 7B 激活为起点再加专家扩充知识容量，他自己的数字则受硬件预算限制，选取在合理时间内能训完的最大 MoE。 出处（新标签页打开）
- 不少人注意到发帖账号有 16 年历史，由此展开对 Reddit 老用户、Digg 迁移时期的闲聊。 出处（新标签页打开）
- 有评论感谢其以 Apache 2 许可发布，并询问数据混合，发帖人回复属于通用 LLM 但面向代码优化，语料含 FineWeb-Edu 54.0B、DCLM 80.9B、SwallowCode-v2 41.7B、Cosmopedia v2 和 SwallowMath-v2 22.1B。 出处（新标签页打开）
- 有评论询问是否有 GGUF 版本。 出处（新标签页打开）
- 有评论认为相对当下的做法，64 个路由专家显得较粗，并推荐参考 Kimi K3 的 Quantile Balancing，称其能较好平衡 500 左右的路由专家。 出处（新标签页打开）