NeurIPS’26 | 注意力也能弃权！改善长上下文、低比特鲁棒性

AI 导读

新智元报道，西北大学、伊利诺伊理工学院、罗格斯大学等机构的研究者提出OASIS，针对Attention Residuals（AttnResidual）在token层与depth层双重softmax归一化缺少显式「不选」选项的问题，为双层信息路由加入null选项，并用token层的null概率调整depth层分支选择；该研究已被NeurIPS 2026接收。文章报告在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4上平均降低激活峰度95.90%、最大激活幅度81.75%，降低W8A8困惑度82.00%，W4A4 GSM8K Pass@1平均相对提升42.11%（为相对比例），并讨论attention sink与异常激活的机制分析。附论文、代码链接。适合研究Transformer架构与量化鲁棒性的读者阅读。