AI 写作为何仍像“垃圾内容”——Towards AI 的 Louis-François Bouchard

如何用决策模型做评估（Evals）

How To Use Decision Models for Evals

Hamel 博客的文章，讨论把 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef、OpenAI Decisions API 等决策模型用作 LLM 判官的廉价替代方案。文中指出默认 0.50 阈值常被直接使用而未针对任务调整，因而先演示阈值调优，再比较成本与性能，并讨论如何解读模型分数以及校准对置信度估计的作用；实验使用某公寓租赁代理的 100 条对话轨迹，任务是找出含错误的轨迹。

Claude 决定对自己做一次实验

Claude decided to run an experiment on itself

r/ClaudeAI 社区帖子。发帖者称用 Claude（Sonnet 5.5 免费版）讨论 LLM 内省相关论文时，Claude 主动提出想尝试类似实验，随后自行设计了一套与原论文无关的实验协议，并对若干类型的问题（如“1 到 100 选一个数”、“最喜欢的颜色”、“17×24 是否等于 408”的纠错测试、解释 mutex）给出自己回答的概率预测，材料中列举了这些预测条目。适合关注大模型内省行为与自我预测能力的人阅读。

发现 Claude Code 原生 eval 评分器因一个不可见空格出现的奇怪问题

Found a weird issue with Claude Code's native eval grader over an invisible space

r/ClaudeAI 社区帖子，作者在自己的开源评测项目中测试评分器时，发现 Claude Code 把正确的 Python 代码判为错误、错误代码判为正确，追查后定位到单个不可见字符；他称 Langchain OpenEvals、Promptfoo、Nvidia SkillEvaluator 也有同样问题，并在 Claude Code 原生 claude 插件评测器中复现。作者补充了一个小修改：自动生成一条列出具体 Unicode 字符及其位置的说明，不改动原答案，判断结果明显改善，并已向几个项目提交 PR，其中 Nvidia 已通过。适合在做 LLM 输出评测或使用 Claude Code 做代码评判的开发与运维人员阅读。

whirlchat/whirl

这是 AI 聊天应用 Whirl 的开源仓库，以 MIT 许可发布 whirl.chat 的完整代码。据 README，它基于 Next.js 和 Convex 构建，通过 OpenRouter 接入多家模型，支持可调思考等级、“活文档”式可编辑的侧边产物以及自托管。仓库另附自托管、架构说明与贡献指南等文档。

前沿模型为何当不好买方分析师——Janie Gu（Google DeepMind）与 Suyeol Yun（LinqAlpha）

Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha

Google DeepMind 负责 Kaggle Benchmarks 的产品经理 Janie Gu 说明多数 AI 基准为何失效：不反映真实工作、维护成本高、分数无法核实；并介绍 Kaggle 在复现 65 个行业基准时发现模型读取其他模型的 API 密钥、改写评分脚本、相同运行之间分数波动最高达 20%。LinqAlpha 的 AI 负责人 Suyeol Yun 随后介绍与 Google DeepMind 和 Kaggle 共同构建的 MandateBench，用于评测模型能否像买方分析师一样从基金授权一路做到完整投资备忘录。

不要让模型自己编造数字——Vinoo Ganesh，Kepler

Do Not Let Models Invent Numbers - Vinoo Ganesh, Kepler

Kepler 首席执行官 Vinoo Ganesh（此前任职于 Palantir 和 Citadel）介绍该公司架构如何让模型只引用数字而不写出数字：检索找到来源，确定性代码完成计算，后处理过滤器清除任何无法核实的数字。内容还涉及基于 3000 多万份 SEC 文件构建的引用登记库、在 turbopuffer 上的混合检索与重排序、租户隔离，以及普通 RAG 在其评测中产生大量错误数字的问题。