# 我从零训练了一个 21B MoE（激活 3.36B），用了 70B token（涌现能力观察）

- 原标题：I trained a 21B MoE \(3.36B active\) from scratch on 70B tokens \(emergent ability observations\)
- 类型：帖子
- 来源：Reddit
- 发布时间：2026-10-28
- 首次精选：2026-10-29 09:33
- 分级：值得看
- 学习层级：深入
- 主题：[moe-model-architecture](<https://oplearnx.com/md/topics/moe-model-architecture.md>)（第 11 位）、[pretraining-data](<https://oplearnx.com/md/topics/pretraining-data.md>)（第 20 位）、[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 47 位）
- 原文链接：[https://reddit.com/r/LocalLLaMA/comments/1xhog7b/i\_trained\_a\_21b\_moe\_336b\_active\_from\_scratch\_on](<https://reddit.com/r/LocalLLaMA/comments/1xhog7b/i_trained_a_21b_moe_336b_active_from_scratch_on>)
- 本站页面：[https://oplearnx.com/resources/pk\_981232951df4](<https://oplearnx.com/resources/pk_981232951df4>)

## 摘要

这是一篇 Reddit r/LocalLLaMA 社区帖子，作者从零训练了 Apex-3：20.99B 参数 MoE、每 token 激活 3.36B，64 个路由专家加 1 个共享专家（top-4），使用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，无外部预训练权重，并放出稳定 checkpoint 供他人继续训练。帖子聚焦训练日志中的现象，主要报告上下文学习（归纳头）在约 0.33B token 内出现约 5 倍增长的明显相变，以及算术任务最终准确率 0.655–0.665 等数据。适合从零训练小型 MoE、关注训练动力学与涌现能力观察的人阅读。

## 原帖

> Bottom line: the only clean phase transition I observed is the ICL / induction-head jump around 1.3B to 1.5B tokens. Arithmetic looks abrupt in exact match but is continuous in probability. Everything else was gradual.

— Prestigious-Taste-63 · 2026-10-28 · [原帖](<https://reddit.com/r/LocalLLaMA/comments/1xhog7b/i_trained_a_21b_moe_336b_active_from_scratch_on>)

## 中文大意

发帖人从零训练了 Apex-3：20.99B 参数 MoE（每 token 激活 3.36B），64 个路由专家加 1 个共享专家（top-4），用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，仅用 70B token（称 SuperBPE 约带来 27% token 效率，相当于约 100B），并发布了可继续训练的 checkpoint 与代码、日志。主要观察：唯一清晰的相变是 1.3B–1.5B token 附近 ICL/归纳头跃升（分数由 -0.08\~-0.14 到 -0.69，约 0.33B token 内涨 5 倍）；算术 exact match 的突跳是阈值效应，正确 token 概率是连续上升的，60B–70B 的 decay 带来更大提升（总体 0.52→0.67，add3 0.44→0.78，chain3 0.13→0.38）；各领…

## 讨论区核心观点

依据 14 条评论。

- 有评论问从零训练时如何确定总参数与激活参数；发帖人回复说取决于计算与目标权衡，有人以单卡推理能放下 7B 激活为起点再加专家扩充知识容量，他自己的数字则受硬件预算限制，选取在合理时间内能训完的最大 MoE。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xhog7b/i_trained_a_21b_moe_336b_active_from_scratch_on/19rsj97ha1m8w/>)）
- 不少人注意到发帖账号有 16 年历史，由此展开对 Reddit 老用户、Digg 迁移时期的闲聊。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xhog7b/i_trained_a_21b_moe_336b_active_from_scratch_on/19rsef1upmuhx/>)）
- 有评论感谢其以 Apache 2 许可发布，并询问数据混合，发帖人回复属于通用 LLM 但面向代码优化，语料含 FineWeb-Edu 54.0B、DCLM 80.9B、SwallowCode-v2 41.7B、Cosmopedia v2 和 SwallowMath-v2 22.1B。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xhog7b/i_trained_a_21b_moe_336b_active_from_scratch_on/19rsdf18xk4is/>)）
- 有评论询问是否有 GGUF 版本。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xhog7b/i_trained_a_21b_moe_336b_active_from_scratch_on/19rsglgnval7p/>)）
- 有评论认为相对当下的做法，64 个路由专家显得较粗，并推荐参考 Kimi K3 的 Quantile Balancing，称其能较好平衡 500 左右的路由专家。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xhog7b/i_trained_a_21b_moe_336b_active_from_scratch_on/19rsjqetvg92d/>)）

## 原文涉及

- [YOON1v/Apex-3 · Hugging Face](<https://huggingface.co/YOON1v/Apex-3>)
- [GitHub - DW-dev-UE/LLM-from-scratch](<https://github.com/DW-dev-UE/LLM-from-scratch>)

---
来源：LearnMap · 学径（https://oplearnx.com）