帖子深入
「让大模型直接“写权重”,会比训练更容易看懂神经网络吗
微博帖子,介绍一项实验:研究者不训练模型,而是让 Claude 作为自主 coding agent,面对一个空白小型 Transformer,按自然语言任务说明手工设定每个参数,共产生 959 个 weight-space programs,在加法、乘法、排序、奇偶校验、最大公约数等 10 个算法任务上均在 3 次尝试内达到 100% 准确率,其中一半首轮成功。帖子还提到这些网络具备较强的可解释结构(注意力头分工、MLP 神经元像查表器等),并指出 SST-2、MRPC、SNLI 等语言任务结果受评测设计缺陷影响、SNLI 的 100% 掺入了对评测集的拟合。适合关注机制可解释性和 weight-space programming 研究方向的人阅读。
- 分级
- 值得看
- 是否付费
- 免费公开帖子
- 预估学习时长
- 约 2 分钟按全文字数估算
- 收录时间
- 2026-11-03