# NeurIPS’26 \| 注意力也能弃权！改善长上下文、低比特鲁棒性

- 原标题：NeurIPS’26 \| 注意力也能弃权！改善长上下文、低比特鲁棒性
- 类型：博客
- 来源：新智元
- 发布时间：2026-10-24
- 首次精选：2026-11-03 21:30
- 分级：值得看
- 是否付费：免费（全文公开可读）
- 预估学习时长：约 6 分钟（按全文字数估算）
- 学习层级：深入
- 主题：[context-cache-optimization](<https://oplearnx.com/md/topics/context-cache-optimization.md>)（第 38 位）、[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 65 位）
- 原文链接：[https://aiera.com.cn/asi-post.html?id=120322](<https://aiera.com.cn/asi-post.html?id=120322>)
- 本站页面：[https://oplearnx.com/resources/pk\_539e23d428bc](<https://oplearnx.com/resources/pk_539e23d428bc>)

## 摘要

新智元报道，西北大学、伊利诺伊理工学院、罗格斯大学等机构的研究者提出OASIS，针对Attention Residuals（AttnResidual）在token层与depth层双重softmax归一化缺少显式「不选」选项的问题，为双层信息路由加入null选项，并用token层的null概率调整depth层分支选择；该研究已被NeurIPS 2026接收。文章报告在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4上平均降低激活峰度95.90%、最大激活幅度81.75%，降低W8A8困惑度82.00%，W4A4 GSM8K Pass@1平均相对提升42.11%（为相对比例），并讨论attention sink与异常激活的机制分析。附论文、代码链接。适合研究Transformer架构与量化鲁棒性的读者阅读。

---
来源：LearnMap · 学径（https://oplearnx.com）