帖子深入
「告别固定分词:让模型学会自主切词的 H-Net」
这是一条社区帖子,介绍 Cartesia 提出的分层架构 H-Net。该架构直接从原始字节输入,由网络端到端联合优化分块边界,底层读取字节并动态压缩成块,主干在较短序列上建模后再还原,分块随上下文实时变化并能自适应合并新概念。帖中称受控实验里它兼具纯字节模型的泛化优势与较高计算效率,下游评测相对标准 BPE 取得约 2 倍算力优势,在代码与 DNA 序列上领先,3B 规模下约 1T 数据即追平基准模型用 11T 数据时的均分。适合关注语言模型分词方案与底层架构设计的人阅读。
- 分级
- 值得看
- 是否付费
- 免费公开帖子
- 预估学习时长
- 约 1 分钟按全文字数估算
- 所属主题
- 神经网络与注意力
- 收录时间
- 2026-11-03