注意力也是FFN？从快权重出发，重新理解高效注意力 |NeurIPS’26

为什么专业化不可避免

Why Specialization Is Inevitable

Dharma-AI 团队发布于 Hugging Face 博客的文章，发表于 2026 年 6 月 30 日，作者包括 Erick Lachmann 等。文章解读了 Goldfeder、Wyder、LeCun 与 Shwartz-Ziv 于 2026 年发表的论文《AI Must Embrace Specialization via Superhuman Adaptable Intelligence》，从优化理论、演化生物学、竞争市场和机器学习的角度论证它们对专业化给出相同预测。适合关注 AI 系统设计原则与相关论文解读的读者。

100万道实战题，还得防AI作弊！320B国产基模技术细节揭秘

新智元报道，至知创新研究院（IQuest Research）公开了IQuest-Q1的完整技术报告《IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems》。该模型为320B总参数、15B激活参数的开源模型，面向代码开发、命令行交互和复杂Agent任务；报告给出30项Benchmark成绩，对照模型包括Claude Opus 5、GPT-5.6 Sol等，并披露29T Tokens、超过100万个可执行任务实例、1.93×的架构规模化效率以及一套防止模型「作弊」的训练机制。文中列举了AutomationBench、τ³-Banking、SkillsBench、MCP-Atlas、Toolathlon-Verified、Claw-Eval等评测分数。适合关注开源基础模型训练细节与Agent能力评测的人阅读。

NeurIPS’26 | 注意力也能弃权！改善长上下文、低比特鲁棒性

新智元报道，西北大学、伊利诺伊理工学院、罗格斯大学等机构的研究者提出OASIS，针对Attention Residuals（AttnResidual）在token层与depth层双重softmax归一化缺少显式「不选」选项的问题，为双层信息路由加入null选项，并用token层的null概率调整depth层分支选择；该研究已被NeurIPS 2026接收。文章报告在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4上平均降低激活峰度95.90%、最大激活幅度81.75%，降低W8A8困惑度82.00%，W4A4 GSM8K Pass@1平均相对提升42.11%（为相对比例），并讨论attention sink与异常激活的机制分析。附论文、代码链接。适合研究Transformer架构与量化鲁棒性的读者阅读。

为小语言模型专门化词表如何在实际应用中将推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

文章介绍 Dharma-AI 基于 VocabX 论文的成果：围绕每个 token 的成本而非频率来专门化词表，在不更换基座模型的情况下把实测推理成本降低 77%。文中以生产环境中基于 Qwen3-4B 的葡萄牙语作文自动评分器为例，说明通用词表如何将模型最常写出的文本切分成过多 token，并指出分词器通常被视为基座模型的固定属性而未被改动。

让决策成为模型设计的起点！NUS推出原生System One架构

新智元报道新加坡国立大学 xML Lab 提出面向决策任务的模型架构 Jeva，直接输出选择、概率或分数而不生成长篇推理文本。文中介绍其四项结构特性：null-aware（无合适答案时输出 null）、permutation-invariant（候选换序不改变判断）、option-scalable（候选数量变化不影响评分方式）、cacheable（复用候选表征而非旧结论），并说明理解文本与作出判断分离的架构设计；给出论文、项目主页、GitHub 与 4B 模型链接。适合关注决策型模型架构设计的研究者阅读。