# 讲 H-Nets 从原始字节学习，规模化可省约十倍数据与算力

- 原标题：讲 H-Nets 从原始字节学习，规模化可省约十倍数据与算力
- 类型：帖子
- 来源：X
- 发布时间：2026-10-29
- 首次精选：2026-10-29 15:07
- 分级：值得看
- 学习层级：深入
- 主题：[pretraining-data](<https://oplearnx.com/md/topics/pretraining-data.md>)（第 5 位）、[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 46 位）
- 原文链接：[https://x.com/\_albertgu/status/2115502110578290900](<https://x.com/_albertgu/status/2115502110578290900>)
- 本站页面：[https://oplearnx.com/resources/pk\_fddae5973211](<https://oplearnx.com/resources/pk_fddae5973211>)

## 摘要

Albert Gu 在 X 上谈从原始字节做语言建模这一方向，认为智能应来自简单的通用构件、直接从原始数据学习抽象（即“苦涩的教训”）。他提到去年提出的分层网络（H-Nets）是新一步，新版本在受控的 scaling law 实验中取得最高 3–5 倍效率提升，在更大规模下用约十分之一的数据与算力达到与在 11T token 上训练的开源模型相当的水平，并称后续帖子会讲解发现与原理。适合做模型架构与 scaling law 研究的人阅读。

## 原帖

> Our new version finds up to 3-5x efficiency gains in controlled scaling law experiments, and at larger scale matches an open-source model trained on 11T tokens with \~10x less data and compute.

— \_albertgu · 2026-10-29 · [原帖](<https://x.com/_albertgu/status/2115502110578290900>)

## 中文大意

Albert Gu 在 X 上介绍 H-Nets（分层网络）的新版本，主张智能应来自简单的通用构件，直接从原始数据中学习自己的抽象表示，也就是“苦涩的教训”。他认为直接在原始字节上做语言建模是这一理想的缩影：如果无法构建从字节端到端学习的 LLM，就更难处理其他理解更少的数据。数据方面：在受控的缩放律实验中，新版本带来最高 3–5 倍的效率提升；在更大规模上，用约十分之一的数据与算力即可匹配一个用 11T token 训练的开源模型。帖子附上两篇博客（从 Tokens 到 Bytes 的第一、二部分）解释发现与原理，并致谢 Cartesia 研究团队及在 tokenization 方面提供帮助的 Jonathan Hayase、Alisawuffles。适合关注 LLM 架构、tokenization 与字节级建模、缩放律的研究者阅读。

## 讨论区核心观点

依据 4 条评论。

- 评论者提到自家开源模型 SmolLM3 在这里被当作对比基线“打得很惨”，但仍称赞结果非常惊人，并表示回头看其开源配方还有可改进之处。
- 讨论规模较小，页面上的回复主要是作者补充博客链接、致谢研究团队与 tokenization 相关人士，以及上述基线模型的回应。

## 原文涉及

- [Blog \| Cartesia](<https://cartesia.ai/blog>)

---
来源：LearnMap · 学径（https://oplearnx.com）