Hugging Face··10 天前
为小语言模型专门化词表如何在实际应用中将推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
文章介绍 Dharma-AI 基于 VocabX 论文的成果：围绕每个 token 的成本而非频率来专门化词表，在不更换基座模型的情况下把实测推理成本降低 77%。文中以生产环境中基于 Qwen3-4B 的葡萄牙语作文自动评分器为例，说明通用词表如何将模型最常写出的文本切分成过多 token，并指出分词器通常被视为基座模型的固定属性而未被改动。
- 分级
- 值得看
- 收录时间
- 2026-10-26
推荐阅读
我们是在通过记住更多来解决 LLM 记忆问题，而真正的问题是知道该忘掉什么吗？[D]
Are we solving LLM memory by remembering more, when the real problem is knowing what to forget?[D]
r/MachineLearning 的一篇讨论帖（[D] 表示讨论类）。作者指出长上下文模型可处理数十万乃至上百万 token，但质疑业界过于关注召回而忽视信息更新：例如编码智能体读到的 API 超时为 30 秒，后来文档改为 5 秒，两个版本都还在上下文中，智能体却继续用 30 秒——它没有忘掉任何东西，只是没有更新已知内容。帖中比较了 Transformer 与 RAG 中新旧信息共存需在读取时解决冲突、简单线性注意力中关联累积于共享状态、DeltaNet 基于预测误差的更新、BDH 的赫布式突触可塑性等做法，并提出评估方式的问题：与其只测能否找到信息，不如测模型在收到更新的矛盾证据时是否会改变答案同时仍记得旧事实。适合关注 LLM 记忆架构与长上下文评测方法的研究者阅读。
同样的 GPU，产出多出 50%：为什么运营方是关键——SemiAnalysis 的 Oliver Kennon
Same GPU, 50% More Output: Why the Operator Matters — Oliver Kennon, SemiAnalysis
演讲把算力视为大宗商品市场，指出购买 GPU 只是获得潜力，实际可用产出取决于运营方：在同样的 B200 芯片上，仅服务栈一项就能带来约 50% 的产出差异。内容还包括集群安全如何影响“智能”是否有用、SemiAnalysis 的 ClusterMAX 如何给运营方评级、租用价格与生产成本的区别、成本位置取决于竞争对手，以及构建可比算力评级与算力期货所需的条件。
DeepSeek 模型技术巡览：从 V3 到 V3.2
A Technical Tour of the DeepSeek Models from V3 to V3.2
Sebastian Raschka 于 2025 年 12 月 3 日发布的文章（末次更新 2026 年 1 月 1 日），围绕 DeepSeek 旗舰开权重模型从 V3 到 V3.2 的演进，讨论架构、稀疏注意力与强化学习方面的更新。文中给出 DeepSeek V3.2 与专有旗舰模型的基准对比图（取自 DeepSeek V3.2 报告），并从 DeepSeek 发布时间线讲起。作者提到原本打算在《The Big LLM Architecture Comparison》中追加一节，后因内容过多改为独立长文。
如何构建 AI 代码审查智能体——Daksh Gupta，Greptile
How to Build an AI Code Review Agent - Daksh Gupta, Greptile
这是 Greptile 联合创始人 Daksh Gupta 的演讲，介绍该公司对想要自建代码审查智能体的公司的建议。他从沙箱加 webhook 的简单方案讲起，说明该方案会漏掉缺陷、每个 PR 花费 3 至 25 美元并产生大量细枝末节的挑刺，随后逐项介绍改进方法：更聚焦的提示词、历史事故 PR 数据集、模型反转（用 GPT 审查 Claude 写的代码反之亦然，可多发现约 10% 的缺陷）、代码库上下文与持续更新的 wiki、在沙箱中借助 computer use 自主测试，以及把多数子任务交给更便宜的模型。视频带有章节时间戳。
为什么 AI 算力是按矩形购买的 —— Erik Bernhardsson，Modal CEO
Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO
Latent Space 的访谈节目，主持人与 Modal CEO Erik Bernhardsson 讨论公司在 5 亿美元 C 轮后完成 7.5 亿美元 D 轮、估值 160 亿美元、年化收入突破 10 亿美元并创建近 30 亿个沙箱的情况。核心话题是算力经济学：传统容量合同把 GPU 按固定数量、固定时长购买，在时间—容量图上呈矩形，而真实工作负载会增长、突增、回落；Erik 讲述 Modal 如何通过聚合数千客户的需求来做“时长变换”。含 YouTube 完整对话链接，涉及服务器无服务器化 AI 基础设施的开发者与商业读者可关注。
审慎地理解缩放定律
Scaling Laws, Carefully
这是 Lilian Weng 博客上的一篇长文，系统梳理深度学习中的缩放定律：训练损失随模型规模、数据量和计算量呈幂律下降，核心问题是如何在模型规模与数据量之间最优分配算力。文章目录涵盖 Kaplan 与 Chinchilla 的结论及其调和、三种拟合方法（固定模型规模、IsoFLOP 曲线、参数化拟合）、幂律的成因，以及数据受限区间和实际拟合中的难点。