让决策成为模型设计的起点！NUS推出原生System One架构

NeurIPS’26 | 注意力也能弃权！改善长上下文、低比特鲁棒性

新智元报道，西北大学、伊利诺伊理工学院、罗格斯大学等机构的研究者提出OASIS，针对Attention Residuals（AttnResidual）在token层与depth层双重softmax归一化缺少显式「不选」选项的问题，为双层信息路由加入null选项，并用token层的null概率调整depth层分支选择；该研究已被NeurIPS 2026接收。文章报告在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4上平均降低激活峰度95.90%、最大激活幅度81.75%，降低W8A8困惑度82.00%，W4A4 GSM8K Pass@1平均相对提升42.11%（为相对比例），并讨论attention sink与异常激活的机制分析。附论文、代码链接。适合研究Transformer架构与量化鲁棒性的读者阅读。

#MIT##大模型权重##gpt-6astra# GPT-6 Astra能直接读取编辑小模型权重了

量子位公众号文章，介绍 MIT 的一项实验：让 GPT-6 Astra 在 Python 环境中直接分析和修改 Qwen3.5-0.8B 的权重，只改动约 0.016% 的权重，在未使用训练和梯度下降的情况下，MATH-500 得分从 7.9% 提升到 48.1%，指令执行能力也有所提升；此外还让 Astra 从零写出小游戏网络权重，与训练了 5 亿步的 PPO 基线作比较。团队把这一做法称为 Weight-Space Programming（权重空间编程），文中描述了 Astra 发现该模型数学表现受推理循环拖累的过程。

注意力也是FFN？从快权重出发，重新理解高效注意力 |NeurIPS’26

新智元报道，介绍北京邮电大学团队的 Mixture-of-Top-k Attention（MiTA）工作：将标准注意力展开为权重由当前输入生成的 FFN，隐藏层宽度随序列长度增长，并从快权重视角提出包含扩展策略、专家数量、专家类型、专家构造方式与路由拓扑的五维分类框架，用于梳理线性注意力、Linformer、TTT 等压缩路线与 Top-k 等路由路线。文章称该工作被 NeurIPS 2026 接收，代码已开源，并给出论文与代码链接。

MemTensor/MemT-1.0（官方仓库）

MemTensor/MemT-1.0

MemT-1.0 的官方仓库，项目自述为新一代记忆基础模型，把持久且可动态演化的记忆作为模型计算的内在部分。它整合动态局部记忆与可训练的超记忆（hyper memory），在推理时不访问原始上下文即可利用历史信息；持久状态大小恒定，据称在 128K 历史下比完整上下文 KV 缓存节省约 66 倍存储。仓库提供 HuggingFace 模型集合与技术报告链接，并附中文版说明。