# MIT：GPT-6 Astra能直接修改Qwen权重，数学能力暴涨6倍 - 原标题：MIT：GPT-6 Astra能直接修改Qwen权重，数学能力暴涨6倍 - 类型：博客 - 来源：量子位 - 发布时间：2026-11-03 - 首次精选：2026-11-04 09:30 - 分级：值得看 - 是否付费：免费（全文公开可读） - 预估学习时长：约 6 分钟（按全文字数估算） - 学习层级：深入 - 主题：[model-interpretability]()（第 18 位）、[finetuning-adaptation]()（第 19 位） - 原文链接：[https://qbitai.com/2026/11/507322.html]() - 本站页面：[https://oplearnx.com/resources/pk\_0010978c14a2]() ## 摘要 量子位报道 MIT 的一项实验：让 GPT-6 Astra 在 Python 环境中直接分析并修改 Qwen3.5-0.8B 的权重，仅改动 0.016% 的权重，未经训练和梯度下降，MATH-500 得分从 7.9% 升到 48.1%，指令执行能力也提高约 3 倍。文中还提到 Astra 从零写出小游戏网络权重的尝试，一次回复得分超过训练 5 亿步的 PPO 基线 20 倍，团队将这套方法称为 Weight-Space Programming（权重空间编程），并描述了它判断推理循环拖累数学表现的诊断过程。适合关注大模型权重编辑与模型能力改造研究的人阅读。 ## 中文精读 ### 1. Astra 直接改写小模型权重：0.016% 参数换来约 6 倍数学能力 - GPT-6 Astra 可以直接读取并编辑小模型的权重。研究者把 0.8B 的 Qwen3.5 交给 Astra，只改动其中 0.016% 的权重。 - 在相同采样设置下，MATH-500 得分从 7.9% 升到 48.1%，数学运算能力约为原来的 6 倍。 - 原本没有要求优化的指令执行能力也提升了 3 倍。 - 除修改现成模型外，让 Astra 从零写出小游戏网络的权重，一次回复交卷，得分超过训练 5 亿步的 PPO 基线 20 倍。 - 团队把这套做法命名为 Weight-Space Programming（权重空间编程）。 ### 2. Astra 爆改模型权重：诊断、定位、动手修改 - 做法是让大模型直接分析神经网络权重，判断网络在做什么、哪里出了问题，再按要求修改，甚至从零写出一个网络。 - Qwen 实验里，研究者给 Astra 一个装有 Qwen3.5-0.8B 全部权重的 Python 环境，唯一要求是尽可能提高数学能力。 - 与常规训练不同：不靠损失、反向传播和优化器，改什么、怎么改由 Astra 分析后决定。 - Astra 发现数学表现被推理循环拖累：最初 96 条练习回答里有 85 条一直跑到 32768 token 上限，Qwen 的模型卡也提醒过这个问题。 - 它沿着失败表现把循环追到前馈网络，在第 15 层和第 19 层各 64 个输出列中修改权重；触及长度上限的比例从 93.0% 降到 33.1%。 - 分别给 Astra 10、25、50 次前向调用预算，MATH-500 得分为 12.3%、14.1% 和 48.1%；省掉的是梯度训练，模型诊断与验证仍在。 ### 3. 从读权重到认部件：游戏网络、扩散模型与小语言模型 - 研究者训练了四个玩不同游戏的小网络，架构、输入通道和动作选项完全相同，把原始权重以文本形式交给 Astra。 - Astra 正确认出四个游戏：打砖块、乒乓、吃豆人、高速公路；其中打砖块是靠权重集中的位置推断的。 - 换成生成图像的扩散模型，它也能从权重中辨认圆形、方形和三角形；但细节出错，模型实际生成实心图形，它全读成了轮廓。 - 难度加大：三个 720 万参数的小语言模型分别用 Python 代码、日语罗马字和英语训练，去掉输入输出层，只留中间四个 Transformer 模块。 - 此时连哪个数字对应哪个字符都不知道，网络也无法直接跑文本，Astra 只能用 Python 分析权重，不能给网络或其层输入数据、观察运行结果。 - 即便这样，它在两轮尝试中认对了三个模型所学的语言，并找出了全部归纳头（induction head），形成从识别用途、定位内部部件到修改行为的路径。 ### 4. 小车爬坡实验：把动作顺序直接写进权重 - 小车爬坡实验中，原本用 PPO 训练的网络总是往坡上冲然后卡住；过关需要先倒车拉开距离，再加速冲坡。 - 研究者给出权重、场景描述和一段失败记录，Astra 不用工具，一次回复写出补丁，只改动 3.5% 的权重。 - 修改后小车在 1024 次测试中全部成功，把训练没能学会的动作顺序直接写进了权重。 ### 5. 训练不存在了？从零写出可用网络 - 研究者把要求再推一步：给一个权重全为零的网络，直接把它写成能用的。 - MinAtar 小游戏实验中，Astra 拿到游戏规则、源代码和指定网络结构，没有训练数据、损失值、梯度和工具，也不能先把网络放进环境里试跑。 - 它需要自己想好策略，再把策略转成各层权重，一次回复交卷；生成网络的平均得分达 517.4。 - 对照结果：PPO 训练 1 亿步得 15.8，训练 5 亿步得 25.3，Astra 的结果超过 20 倍。 - 这项工作的看点是让现成的通用前沿大模型围绕自然语言目标自己分析、改写权重。 - Astra 自身的知识与能力仍来自它此前的训练；分析权重、生成代码、批量推理和评测都要消耗计算资源，GPU 还不能退休。 ### 6. 训练不存在了？从零写出可用网络（续） - 实际应用上的意义是：小模型表现不好时，开发者可以先判断是需要重新训练，还是直接改权重。 ### 7. 相关阅读与热门文章（正文外内容） - 文章末尾为量子位站内相关阅读与热门文章列表，包括索尼 AI 登上 Nature 封面、AIGC 企业榜单、华为战略执行力、斯坦福全球 AI 年度报告等往期文章导语。 - 另列出《比 LoRA 更高效》微调框架、《AI 狼人杀大决战》等推荐；以及 DeepSeek 开源 Agent 底座架构、Gemini 4 Carbon 超越 Opus 5.5 两条热门文章。 - 这些条目属于网站的导航与推荐内容，与本文正文实验无关。 --- 来源：LearnMap · 学径（https://oplearnx.com）