帖子深入
「模型开始直接改权重了,但先别急着喊奇点」
一条微博帖子,介绍 MIT CSAIL 于 11 月 2 日提出的「Weight-Space Programming」:让大模型不靠梯度下降、训练循环或外部工具,直接读写另一个神经网络的原始权重。帖子称其一组建出约 2 万参数的 Breakout 小网络,表现超过论文中的 PPO 基线;另一组直接改 Qwen3.5-0.8B 的少量权重,缓解推理循环问题,将 MATH-500 从 7.9% 提到 48.1%,IFEval 提升约 3 倍。帖中还提到 Google Research 的 Alex Krentsel 复现了 Breakout 实验,并观察到这类能力更像最新前沿模型突然出现的「台阶式」能力;同时列出争议:任务简化、规模差距悬殊、结果是否部分来自后训练阶段的任务暴露无法从外部确认。适合关注权重空间方法、可解释性与模型自我改进讨论的人阅读。
- 分级
- 值得看
- 是否付费
- 免费公开帖子
- 预估学习时长
- 约 2 分钟按全文字数估算
- 收录时间
- 2026-11-05