「给AI装上“睡眠”机制：Google让大模型学会在离线时消化新知」

AI 导读

这是一条社区帖子，介绍 Google Research 提出的 Sleep 框架。该框架把单次固定训练改为类似生物“清醒与睡眠”交替的循环：清醒时模型正常工作并暂存短期经验，离线阶段调动预留的低秩专家参数，通过策略蒸馏把高价值信息固化进长期权重并清空临时缓存；还设有类似“做梦”的训练模式，让 MoE 专家跨领域组合自主生成题目，并借梯度信号筛除劣质样本。帖中称其在 BABILong 长上下文测试中表现出抗遗忘效果，SQuAD 新事实吸收测试得 46.2%（比基模型高 14.3 个百分点），AIME 数学推理达 79.2%，同时指出该方案依赖额外算力与严格数据过滤。适合关注持续学习、灾难性遗忘与模型知识更新的人阅读。