更多帖子
帖子深入

「告别固定分词:让模型学会自主切词的 H-Net」

AI 导读

这是一条社区帖子,介绍 Cartesia 提出的分层架构 H-Net。该架构直接从原始字节输入,由网络端到端联合优化分块边界,底层读取字节并动态压缩成块,主干在较短序列上建模后再还原,分块随上下文实时变化并能自适应合并新概念。帖中称受控实验里它兼具纯字节模型的泛化优势与较高计算效率,下游评测相对标准 BPE 取得约 2 倍算力优势,在代码与 DNA 序列上领先,3B 规模下约 1T 数据即追平基准模型用 11T 数据时的均分。适合关注语言模型分词方案与底层架构设计的人阅读。

分级
值得看
是否付费
免费公开帖子
预估学习时长
约 1 分钟按全文字数估算
收录时间
2026-11-03