学习预训练、数据配比、合成数据和训练效率，适合模型训练实践者。
16 条精选 · 入门 1 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Albert Gu 在 X 上谈从原始字节做语言建模这一方向，认为智能应来自简单的通用构件、直接从原始数据学习抽象（即“苦涩的教训”）。他提到去年提出的分层网络（H-Nets）是新一步，新版本在受控的 scaling law 实验中取得最高 3–5 倍效率提升，在更大规模下用约十分之一的数据与算力达到与在 11T token 上训练的开源模型相当的水平，并称后续帖子会讲解发现与原理。适合做模型架构与 scaling law 研究的人阅读。
What's the hardest part of creating edge cases for fine-tuning open-weight models? [D]
r/MachineLearning 的讨论帖，提出问题：在为开放权重模型微调、重点提升边缘案例处理能力时，如何发现稀有或异常的边缘案例、如何在已有数据集上改造出更专门化的案例、样本是手写还是用模型合成或从真实数据挖掘、如何控制质量、如何判断覆盖度是否足够，以及是否有加入更多边缘案例反而使模型变差的经历。适合正在做开放权重模型微调数据构建的人阅读。
ScaffoldCoT Dataset Updates: Maintainance, a new agent-focused dataset for small models, and a new model in training built around the datasets!
这是一篇作者在 r/LocalLLaMA 发布的项目更新帖，介绍 ScaffoldCoT 数据集的最新变动：项目更名为 Scaffold Chat，移除了全部工具调用示例（约 27.6 万条），现有 3,450,159 条样本、16 个领域、75 个分片、约 13GB；同时发布约 10 亿 token 的真实执行编码智能体会话数据集 Scaffold Agent，并预告一个基于这些数据训练的 5–10B 模型。适合关注开源数据集构建、小模型智能体训练与数据清洗的人阅读。
I trained a 21B MoE (3.36B active) from scratch on 70B tokens (emergent ability observations)
这是一篇 Reddit r/LocalLLaMA 社区帖子，作者从零训练了 Apex-3：20.99B 参数 MoE、每 token 激活 3.36B，64 个路由专家加 1 个共享专家（top-4），使用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，无外部预训练权重，并放出稳定 checkpoint 供他人继续训练。帖子聚焦训练日志中的现象，主要报告上下文学习（归纳头）在约 0.33B token 内出现约 5 倍增长的明显相变，以及算术任务最终准确率 0.655–0.665 等数据。适合从零训练小型 MoE、关注训练动力学与涌现能力观察的人阅读。