如何真正做 Token 优化并省下数百万——Alvin Pane（OutRival）

我们是在通过记住更多来解决 LLM 记忆问题，而真正的问题是知道该忘掉什么吗？[D]

Are we solving LLM memory by remembering more, when the real problem is knowing what to forget?[D]

r/MachineLearning 的一篇讨论帖（[D] 表示讨论类）。作者指出长上下文模型可处理数十万乃至上百万 token，但质疑业界过于关注召回而忽视信息更新：例如编码智能体读到的 API 超时为 30 秒，后来文档改为 5 秒，两个版本都还在上下文中，智能体却继续用 30 秒——它没有忘掉任何东西，只是没有更新已知内容。帖中比较了 Transformer 与 RAG 中新旧信息共存需在读取时解决冲突、简单线性注意力中关联累积于共享状态、DeltaNet 基于预测误差的更新、BDH 的赫布式突触可塑性等做法，并提出评估方式的问题：与其只测能否找到信息，不如测模型在收到更新的矛盾证据时是否会改变答案同时仍记得旧事实。适合关注 LLM 记忆架构与长上下文评测方法的研究者阅读。

讲 OCR 双模型：小解析器出结果，Jev 打分后对低分再纠错

elvis（@omarsar0）在 X 上的帖子，介绍 OpenBMB 与 ModelBest 的 MiniCPM-OCR：一个 1.3B 参数的小型开源文档解析器，支持中英文扫描件、照片、弯曲与倾斜页面及关键信息抽取；第二个模型 MiniCPM-OCR Jev 对提取出的文本、公式和表格给出可靠性评分，也可用于其他 OCR 模型的输出。帖子给出流程示例：解析文档、用 Jev 打分、将低分结果交给人工或纠错步骤，并提到权重开放、支持 llama.cpp、vLLM、SGLang、Ollama 推理及 Agent Skills 集成。适合构建文档处理智能体或 OCR 流水线的人关注或阅读。

如何构建 AI 代码审查智能体——Daksh Gupta，Greptile

How to Build an AI Code Review Agent - Daksh Gupta, Greptile

这是 Greptile 联合创始人 Daksh Gupta 的演讲，介绍该公司对想要自建代码审查智能体的公司的建议。他从沙箱加 webhook 的简单方案讲起，说明该方案会漏掉缺陷、每个 PR 花费 3 至 25 美元并产生大量细枝末节的挑刺，随后逐项介绍改进方法：更聚焦的提示词、历史事故 PR 数据集、模型反转（用 GPT 审查 Claude 写的代码反之亦然，可多发现约 10% 的缺陷）、代码库上下文与持续更新的 wiki、在沙箱中借助 computer use 自主测试，以及把多数子任务交给更便宜的模型。视频带有章节时间戳。

Folkbench/folkbench

这是一个开源项目仓库，内容为 AI API 中转站的实测评测排行与切换工具，实测可用率、延迟和价格，面向 Claude Code 与 Codex 等使用场景，仓库标注语言/框架为 Tauri，并附有 folkbench.com 主页、Telegram 群组和发布版本等信息。

解锁连续批处理中的异步性

Unlocking asynchronicity in continuous batching

Hugging Face 博客于 2026 年 5 月 14 日发布的文章，作者为 Rémi Ouazan Reboul、Pedro Cuenca 和 Aritra Roy Gosthipaty，是高效 LLM 推理系列的第二篇。文章说明如何分离 CPU 与 GPU 工作负载以大幅提升推理性能：默认的同步连续批处理会导致 CPU 与 GPU 相互等待，停顿可能占近四分之一运行时间，因此采用异步批处理让 GPU 持续计算。文中提及 KV 缓存、FlashAttention、注意力掩码等概念，并以 H200 在 Inference Endpoints 上的价格为例说明成本考量。

发现 Claude Code 原生 eval 评分器因一个不可见空格出现的奇怪问题

Found a weird issue with Claude Code's native eval grader over an invisible space

r/ClaudeAI 社区帖子，作者在自己的开源评测项目中测试评分器时，发现 Claude Code 把正确的 Python 代码判为错误、错误代码判为正确，追查后定位到单个不可见字符；他称 Langchain OpenEvals、Promptfoo、Nvidia SkillEvaluator 也有同样问题，并在 Claude Code 原生 claude 插件评测器中复现。作者补充了一个小修改：自动生成一条列出具体 Unicode 字符及其位置的说明，不改动原答案，判断结果明显改善，并已向几个项目提交 PR，其中 Nvidia 已通过。适合在做 LLM 输出评测或使用 Claude Code 做代码评判的开发与运维人员阅读。