如何用决策模型做评估(Evals)
How To Use Decision Models for Evals
Hamel 博客的文章,讨论把 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef、OpenAI Decisions API 等决策模型用作 LLM 判官的廉价替代方案。文中指出默认 0.50 阈值常被直接使用而未针对任务调整,因而先演示阈值调优,再比较成本与性能,并讨论如何解读模型分数以及校准对置信度估计的作用;实验使用某公寓租赁代理的 100 条对话轨迹,任务是找出含错误的轨迹。