讲 H-Nets 从原始字节学习，规模化可省约十倍数据与算力
Albert Gu 在 X 上谈从原始字节做语言建模这一方向，认为智能应来自简单的通用构件、直接从原始数据学习抽象（即“苦涩的教训”）。他提到去年提出的分层网络（H-Nets）是新一步，新版本在受控的 scaling law 实验中取得最高 3–5 倍效率提升，在更大规模下用约十分之一的数据与算力达到与在 11T token 上训练的开源模型相当的水平，并称后续帖子会讲解发现与原理。适合做模型架构与 scaling law 研究的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-29
原帖
Our new version finds up to 3-5x efficiency gains in controlled scaling law experiments, and at larger scale matches an open-source model trained on 11T tokens with ~10x less data and compute.
中文大意
Albert Gu 在 X 上介绍 H-Nets（分层网络）的新版本，主张智能应来自简单的通用构件，直接从原始数据中学习自己的抽象表示，也就是“苦涩的教训”。他认为直接在原始字节上做语言建模是这一理想的缩影：如果无法构建从字节端到端学习的 LLM，就更难处理其他理解更少的数据。数据方面：在受控的缩放律实验中，新版本带来最高 3–5 倍的效率提升；在更大规模上，用约十分之一的数据与算力即可匹配一个用 11T token 训练的开源模型。帖子附上两篇博客（从 Tokens 到 Bytes 的第一、二部分）解释发现与原理，并致谢 Cartesia 研究团队及在 tokenization 方面提供帮助的 Jonathan Hayase、Alisawuffles。适合关注 LLM 架构、tokenization 与字节级建模、缩放律的研究者阅读。
讨论区核心观点
依据 4 条评论
- 评论者提到自家开源模型 SmolLM3 在这里被当作对比基线“打得很惨”，但仍称赞结果非常惊人，并表示回头看其开源配方还有可改进之处。
- 讨论规模较小，页面上的回复主要是作者补充博客链接、致谢研究团队与 tokenization 相关人士，以及上述基线模型的回应。