tokenizers v1：编码、解码与扩展性，实测

Hugging Face 博客文章（2026 年 9 月 21 日），介绍 tokenizers 库即将发布的 v1 版本。文章指出分词在数据量大、并发请求多或长输入反复处理时可能成为瓶颈，让 GPU 等待 CPU，因此 v1 重点放在性能上，并说明文中将对比 v1 与 v0.23 的速度。文中还提到 gigatoken、tiktoken、kitoken、tokie、fastokens、wordchipper、ai-tokenizer 等开源分词库的工作。