我们是在通过记住更多来解决 LLM 记忆问题，而真正的问题是知道该忘掉什么吗？[D]
Are we solving LLM memory by remembering more, when the real problem is knowing what to forget?[D]
r/MachineLearning 的一篇讨论帖（[D] 表示讨论类）。作者指出长上下文模型可处理数十万乃至上百万 token，但质疑业界过于关注召回而忽视信息更新：例如编码智能体读到的 API 超时为 30 秒，后来文档改为 5 秒，两个版本都还在上下文中，智能体却继续用 30 秒——它没有忘掉任何东西，只是没有更新已知内容。帖中比较了 Transformer 与 RAG 中新旧信息共存需在读取时解决冲突、简单线性注意力中关联累积于共享状态、DeltaNet 基于预测误差的更新、BDH 的赫布式突触可塑性等做法，并提出评估方式的问题：与其只测能否找到信息，不如测模型在收到更新的矛盾证据时是否会改变答案同时仍记得旧事实。适合关注 LLM 记忆架构与长上下文评测方法的研究者阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-26
原帖
Both versions are still in context, but the agent keeps using 30. It hasn't forgotten anything. It just hasn't updated what it knows.
中文大意
发帖人指出，长上下文模型已能处理数十万甚至上百万 token，但学界和工程界可能过度关注"记住更多"，忽略了信息变更后如何更新知识。他举例：编码 agent 先读到 API 超时 30 秒，文档后来改成 5 秒，两版都在上下文里，agent 却仍用 30——不是忘了，而是没更新。他梳理了 Transformer/RAG（新旧信息共存、读取时再消解冲突）、简单线性注意力（关联累积在共享状态，写入新内容未必移除旧内容）、DeltaNet（基于预测误差更新）、BDH（赫布式突触可塑性）等路线，但都面临何时更新、何时保留、如何不破坏无关记忆的问题。他还质疑现有评测多测"能否找到信息"，建议改测"面对更新的矛盾证据时是否修改答案、同时仍记得旧事实"，并询问这更偏存储更新问题还是推理冲突问题，以及有无相关基准。适合关注 LLM 记忆架构、长上下文与 agent 可靠性的人阅读。
讨论区核心观点
依据 16 条评论
- 实践中靠派生 subagent、用精简提示和文档压缩先前信息来回避该问题，等于让新 agent 视角上"忘掉"无关结论；这条路足够可扩展，因而缺乏脱离上下文累积范式的动力。 出处（新标签页打开）
- subagent 方案只是把记忆问题挪到摘要环节：摘要若保留了错误假设却丢掉其背后证据，下一个 agent 会被困住，所以它并未真正解决修正问题；真正关键的不是选哪种架构，而是修正处理得是否可靠。 出处（新标签页打开）
- 主张用"取代/更新"而非遗忘：保留少量日志与细节，随进展更新上下文中的内容，只取用与下一次输出直接相关的部分。 出处（新标签页打开）
- 光给旧信息打"过期"标签不够，还要追踪依赖该事实的结论；且更新的不一定更正确，来源与语境和时戳同样重要。 出处（新标签页打开）
- 把遗忘界定为溯源问题而非时效问题：记忆源自某个来源，来源变了记忆就过期，没变则再旧也有效；纯按时间遗忘会丢掉仍为真的事实。对没有文件来源的决策，可追踪其底层证据与假设，变化时只重估依赖它们的结论。 出处（新标签页打开）
- 有人认为厂商关注的是高效访问超大上下文，答案正确性与按序更新靠测试和训练流程保证；长上下文是有损压缩，越早的 token 越难被记住。发帖人回应：能检索到正确信息不等于会据此更新推理。另有评论提到 longmemeval 有知识更新类别可测。 出处（新标签页打开）