How To Use Decision Models for Evals

学完你能

• 解释决策模型作为 LLM judge 低成本替代方案时的适用条件（成本、性能、延迟要求）
• 说明默认 0.5 判定阈值为什么可能低估模型表现，并给出改用自定义阈值的理由
• 在 precision 与 recall 之间做业务导向的权衡，用 F1 或 F-beta 选择阈值
• 写出可交给编码 Agent 执行的阈值调优提示词，包含分层五折交叉验证与最低精度/召回约束
• 用 F1 与 API 成本画出 Pareto 前沿，判断哪个决策模型适合自身场景
• 读懂概率校准图，判断模型分数能否直接当作置信度估计，并了解 Platt scaling 的作用

适合你吗

课程特点

内容侧重

按内容目录判断

练习与项目

用文章提供的 charts/chart-data.json 形式的数据结构，在自己的评测集上重做阈值调优与校准图，比较与默认 0.5 阈值的差异。

学习时长

1 个课节原站未给出统一学习时长；实际用时取决于已有基础。

内容费用

免费网页正文可免费直接阅读，主要学习内容无付费墙或登录拦截；顶部 Maven 课程报名入口属作者其他产品，不影响本资源。