Evals Skills for Coding Agents

学完你能

• 说明产品评测（product evals）与 MMLU、HELM 等通用基准的区别
• 用 evals-start 判断自己的评测阶段，并选择合适的后续技能
• 用 eval-audit 审计已有评测流水线并按严重程度排序问题
• 用 error-discovery 搭建标注界面、抽取多样 trace 样本并归纳失败模式
• 用 generate-synthetic-data 基于维度组合生成多样的合成测试输入
• 用 write-judge-prompt 为带主观性的质量标准设计 LLM-as-Judge 评测器
• 用 validate-evaluator 以数据划分、TPR/TNR 和偏差校正把 LLM 判官与人工标签对齐
• 用 evaluate-rag 评估 RAG 流水线的检索与生成质量，并搭建自定义人工复核界面

适合你吗

课程特点

内容侧重

按内容目录判断

练习与项目

在真实的评测流水线或 trace 上依次使用 eval-audit、error-discovery 等技能，并把结果整理成可执行的改进项；若使用 LLM 判官，注意标注数据划分与人工校验。

学习时长

2 个课节原站未给出统一学习时长；实际用时取决于已有基础。

内容费用

免费正文直接给出技能清单、安装命令与使用提示词，技能托管在公开 GitHub 仓库 ai-evals-course/evals-skills；页首的付费课程推广不属于本资源本身。

内容覆盖

• Why skills for evals：说明评测工具常见误区与技能的作用
• evals-start：入口路由技能，判断你的处境并指向合适的技能
• eval-audit：审计已有评测流水线，按优先级给出问题与下一步建议
• error-discovery：搭建人工复核应用、智能抽样 trace，并把笔记整理成失败模式
• generate-synthetic-data：用基于维度的元组生成方式创建多样的合成测试输入
• write-judge-prompt：为主观质量标准设计 LLM-as-Judge 评测器
• validate-evaluator：用数据划分、TPR/TNR 与偏差校正让 LLM 判官对齐人工标签
• evaluate-rag：评估 RAG 流水线的检索与生成质量
• build-review-interface：为人工 trace 复核构建自定义标注界面