教程发布 10-14
如何真正做 Token 优化并省下数百万——Alvin Pane（OutRival）
How to Actually Tokenmaxx and Save Millions — Alvin Pane, OutRival
一个会议演讲视频。演讲者从“更便宜的候选模型与生产模型在 18% 的样例上不一致，是否直接拒绝”这一问题切入，指出先用现有模型重复运行可得到约 7% 的自我不一致率，因此简单的模型间一致率不足以衡量质量。他以名为 HarborBite 的合成示例（作为大型指令提示词的代理，并说明并非真实节省百万美元的证据）展示降低成本的流程：先做可观测性（记录提示词版本、模型选择、token、延迟、成本），再用前缀缓存、DSPy 和 GEPA 搜索更短的指令，示例提示词缩减 51% 但仍需质量测试。还涉及影子评估、人工复核分歧、净增益的配对置信区间作为发布标准，以及对关键客户类别单独检查。