# 评估与改进智能体应用

- 原标题：Evaluating and Improving Agentic Applications
- 类型：课程
- 来源：DeepLearning.AI
- 学期：未标注
- 首次精选：2026-11-05 10:16
- 分级：值得看
- 是否付费：付费（课程或书籍页面）
- 预估学习时长：约 14.5 小时（页面标注的总时长）
- 学习层级：进阶
- 主题：[agent-evaluation-reliability](<https://oplearnx.com/md/topics/agent-evaluation-reliability.md>)（第 8 位）、[agent-observability](<https://oplearnx.com/md/topics/agent-observability.md>)（第 9 位）、[judges-quality-validation](<https://oplearnx.com/md/topics/judges-quality-validation.md>)（第 12 位）
- 原文链接：[https://deeplearning.ai/courses/evaluating-and-improving-agentic-applications](<https://deeplearning.ai/courses/evaluating-and-improving-agentic-applications>)
- 本站页面：[https://oplearnx.com/resources/pk\_fdb730c70af4](<https://oplearnx.com/resources/pk_fdb730c70af4>)

## 摘要

这是 DeepLearning.AI 上的一门课程页面，讲师为 Arize AI 的 Laurie Voss，页面显示 14 小时 42 分钟、27 个视频课程、6 个代码示例、10 个评分作业，更新于 2026 年 11 月 4 日，需 PRO 会员获得证书。课程内容涵盖错误分析与测试集：阅读智能体执行轨迹、标注反复出现的失败并转为可复用的测试集；用代码评估器和经校验的 LLM 裁判自动评分；以及用评估确认每次改动确实带来改进。页面说明智能体在调用错误工具、跳过步骤等失败情形下会挑战传统测试假设。

## 概览

- 难度：进阶
- 语言：英文
- 规模：27 视频 · 6 代码示例
- 费用：付费
- 动手：6 个代码示例 · 10 项作业

## 学完你能

- 读懂 agent 的 trace，标注反复出现的失败并整理成可复用的测试集
- 把应用需求转化为测试用例，构建可重复运行的基准
- 编写代码评估器和 LLM 评审器，并为特殊场景撰写自定义评分规则
- 用精确率、召回率和 Cohen's kappa 检验评审器的可靠性
- 评估 agent 的工具调用、步骤顺序、多轮对话中的指令遵守与任务完成情况
- 在同一组用例下比较 agent 版本，并把生产环境失败转成回归测试

## 适合你吗

- 适合：正在构建 AI agent 或 LLM 应用、想判断其是否可靠并验证改动是否有效的开发者
- 适合：希望把 agent 评估流程落到自己项目中的工程人员
- 暂不适合：不熟悉 Python 或 pandas、未调用过 LLM API 的学习者
- 暂不适合：只关注模型训练或深度学习数学理论的人
- 需要先会：需能读写 Python、基本熟悉 pandas，并有调用 LLM API 的经验；了解工具调用有帮助但非必需，无需评估、追踪或统计基础。

## 课程特点

- 内容侧重：围绕 agent 的评估流程：trace 分析、基准测试集、代码评估器与 LLM 评审器、动作与结果评估、基于评估的迭代改进。
- 练习与项目：5 个模块各配有 Code Example 实验，使用 Arize Phoenix 与开源追踪工具，从追踪 agent 行为到构建评估套件；页面显示共 10 项评分作业。
- 投入时间：页面标示总时长 14 小时 42 分，含 27 个视频课；单个视频多为 4–9 分钟，实验为 30–50 分钟。
- 费用说明：需加入 DeepLearning.AI Pro 才能学习；Pro 会员按年计费为 25 美元/月、按月计费为 30 美元/月，Pro 会员完成课程可获得证书。

## 内容覆盖

- 模块 1：评估基础——与 Andrew Ng 对谈、评估为何重要
- 模块 1：评估流程（上、下）
- 模块 1：Trace 追踪
- 模块 1：阅读实验：追踪的工作原理
- 模块 1：实验 1：用 Python 追踪 agent
- 模块 1：实验 2：用 Phoenix 追踪 agent
- 模块 2：定义应用需求
- 模块 2：把需求转化为测试用例
- 模块 2：分析与标注失败
- 模块 2：构建可信赖的测试集
- 模块 2：构建 Northwind 基准
- 模块 2：实验：构建 Northwind 基准
- 模块 3：构建代码评估器
- 模块 3：使用 LLM 评审器
- 模块 3：撰写自定义评分规则
- 模块 3：验证 LLM 评审器
- 模块 3：把评估器应用于 Northwind
- 模块 3：实验：构建可信赖的评估器
- 模块 4：评估响应背后的工作
- 模块 4：评估动作与工具调用
- 模块 4：评估执行轨迹
- 模块 4：跨对话轮次评估
- 模块 4：验证任务结果
- 模块 4：综合解读评估结果
- 模块 4：实验：评估 agent 的行为
- 模块 5：规划一次改进测试
- 模块 5：比较版本并权衡取舍
- 模块 5：选择干预位置
- 模块 5：出现回退后调整改动
- 模块 5：部署后持续改进 agent
- 模块 5：把生产失败转为回归测试
- 模块 5：实验：评估 agent 的行为

---
来源：LearnMap · 学径（https://oplearnx.com）