发现 Claude Code 原生 eval 评分器因一个不可见空格出现的奇怪问题

如何真正做 Token 优化并省下数百万——Alvin Pane（OutRival）

How to Actually Tokenmaxx and Save Millions — Alvin Pane, OutRival

一个会议演讲视频。演讲者从“更便宜的候选模型与生产模型在 18% 的样例上不一致，是否直接拒绝”这一问题切入，指出先用现有模型重复运行可得到约 7% 的自我不一致率，因此简单的模型间一致率不足以衡量质量。他以名为 HarborBite 的合成示例（作为大型指令提示词的代理，并说明并非真实节省百万美元的证据）展示降低成本的流程：先做可观测性（记录提示词版本、模型选择、token、延迟、成本），再用前缀缓存、DSPy 和 GEPA 搜索更短的指令，示例提示词缩减 51% 但仍需质量测试。还涉及影子评估、人工复核分歧、净增益的配对置信区间作为发布标准，以及对关键客户类别单独检查。

AI 写作为何仍像“垃圾内容”——Towards AI 的 Louis-François Bouchard

Why AI Writing Still Reads Like Slop — Louis-François Bouchard, Towards AI

演讲者拆解 AI 写作给人“垃圾感”的原因：用词过度、泛泛而谈、言之无物、重复、幻觉，以及听起来像所有人混合的声音。随后介绍团队如何构建一个基准，衡量模型能否用他本人的风格写视频脚本：10 个脚本、每个模型 5 稿、4 个 LLM 评审、九项评分指标和 1000 次人工 A/B 对比。他还分享了成本、评审模型为何偏向自家模型家族，以及用 AI 写作的实用方法，包括填满示例的超长提示、由强模型做一轮审校、合并多份廉价草稿，以及始终保留人工编辑。

讲 OCR 双模型：小解析器出结果，Jev 打分后对低分再纠错

elvis（@omarsar0）在 X 上的帖子，介绍 OpenBMB 与 ModelBest 的 MiniCPM-OCR：一个 1.3B 参数的小型开源文档解析器，支持中英文扫描件、照片、弯曲与倾斜页面及关键信息抽取；第二个模型 MiniCPM-OCR Jev 对提取出的文本、公式和表格给出可靠性评分，也可用于其他 OCR 模型的输出。帖子给出流程示例：解析文档、用 Jev 打分、将低分结果交给人工或纠错步骤，并提到权重开放、支持 llama.cpp、vLLM、SGLang、Ollama 推理及 Agent Skills 集成。适合构建文档处理智能体或 OCR 流水线的人关注或阅读。

不要让模型自己编造数字——Vinoo Ganesh，Kepler

Do Not Let Models Invent Numbers - Vinoo Ganesh, Kepler

Kepler 首席执行官 Vinoo Ganesh（此前任职于 Palantir 和 Citadel）介绍该公司架构如何让模型只引用数字而不写出数字：检索找到来源，确定性代码完成计算，后处理过滤器清除任何无法核实的数字。内容还涉及基于 3000 多万份 SEC 文件构建的引用登记库、在 turbopuffer 上的混合检索与重排序、租户隔离，以及普通 RAG 在其评测中产生大量错误数字的问题。

即时本体：廉价智能对数据意味着什么——Hrishi Olickel（Southbridge AI）

Just-in-Time Ontologies: What Cheap Intelligence Means for Data — Hrishi Olickel, Southbridge AI

一个会议演讲视频。演讲者以一条把贷款金额的正负号去掉、将净 784,000 美元变成 530 万美元债务、且多个模型给出相同错误结果的流水线为例，说明数据转换不能只靠通用模式或自信的智能体，因为“客户”对计费、支持、合规部门含义不同。他提出的替代方案是“即时本体”：在问题明确时构建转换，并保留其上下文与证据以便复用。工作示例是俄亥俄州竞选财务实体消解项目，涉及区分设计流水线的模型、执行单项任务的模型和优化系统的模型，以及定义、留出案例、分歧检查、稳定执行面、预算上限和失败方式界定等做法。

你的冰箱也是合格的支付设备——Eleonora Drykina 与 Nina Žižakić，In The Pocket

Your Fridge Is a Valid Payment Device — Eleonora Drykina & Nina Žižakić, In The Pocket

这是一场技术演讲录像，两位讲者介绍为一家匿名比利时支付客户构建的 RAG 问答助手，其资料库约含 270 份 PDF、6000 页，关键信息大量存在于表格中。索引流程保留章节路径与分块顺序以便重建较长段落，并把表格转为 CSV 同时保留标题与取值的对应关系；稠密检索结合 BM25 使 63 个问题上的检索命中率从 92% 提升到 97%。服务端智能体可通过四种工具扩大检索范围，配有防止超长规则手册淹没上下文的限制，中位作答时间 38 秒，讲者还谈到流式 Markdown 与来源卡片分离、轨迹追踪、引用核查和 Promptfoo 评测，以及早期内部试用覆盖 34 名用户、约 900 个问题。