课程进阶
评估与改进智能体应用
Evaluating and Improving Agentic Applications
这是 DeepLearning.AI 上的一门课程页面，讲师为 Arize AI 的 Laurie Voss，页面显示 14 小时 42 分钟、27 个视频课程、6 个代码示例、10 个评分作业，更新于 2026 年 11 月 4 日，需 PRO 会员获得证书。课程内容涵盖错误分析与测试集：阅读智能体执行轨迹、标注反复出现的失败并转为可复用的测试集；用代码评估器和经校验的 LLM 裁判自动评分；以及用评估确认每次改动确实带来改进。页面说明智能体在调用错误工具、跳过步骤等失败情形下会挑战传统测试假设。
- 分级
- 值得看
- 是否付费
- 付费课程或书籍页面
- 预估学习时长
- 约 14.5 小时页面标注的总时长
- 收录时间
- 2026-11-05
- 难度
- 进阶
- 语言
- 英文
- 规模
- 27 视频 · 6 代码示例
- 动手
- 6 个代码示例 · 10 项作业
学完你能
- 读懂 agent 的 trace，标注反复出现的失败并整理成可复用的测试集
- 把应用需求转化为测试用例，构建可重复运行的基准
- 编写代码评估器和 LLM 评审器，并为特殊场景撰写自定义评分规则
- 用精确率、召回率和 Cohen's kappa 检验评审器的可靠性
- 评估 agent 的工具调用、步骤顺序、多轮对话中的指令遵守与任务完成情况
- 在同一组用例下比较 agent 版本，并把生产环境失败转成回归测试
适合你吗
适合
- 正在构建 AI agent 或 LLM 应用、想判断其是否可靠并验证改动是否有效的开发者
- 希望把 agent 评估流程落到自己项目中的工程人员
暂不适合
- 不熟悉 Python 或 pandas、未调用过 LLM API 的学习者
- 只关注模型训练或深度学习数学理论的人
需要先会
需能读写 Python、基本熟悉 pandas，并有调用 LLM API 的经验；了解工具调用有帮助但非必需，无需评估、追踪或统计基础。
课程特点
- 内容侧重
- 围绕 agent 的评估流程：trace 分析、基准测试集、代码评估器与 LLM 评审器、动作与结果评估、基于评估的迭代改进。
- 练习与项目
- 5 个模块各配有 Code Example 实验，使用 Arize Phoenix 与开源追踪工具，从追踪 agent 行为到构建评估套件；页面显示共 10 项评分作业。
- 投入时间
- 页面标示总时长 14 小时 42 分，含 27 个视频课；单个视频多为 4–9 分钟，实验为 30–50 分钟。
- 费用说明
- 需加入 DeepLearning.AI Pro 才能学习；Pro 会员按年计费为 25 美元/月、按月计费为 30 美元/月，Pro 会员完成课程可获得证书。
内容覆盖
- 模块 1：评估基础——与 Andrew Ng 对谈、评估为何重要
- 模块 1：评估流程（上、下）
- 模块 1：Trace 追踪
- 模块 1：阅读实验：追踪的工作原理
- 模块 1：实验 1：用 Python 追踪 agent
- 模块 1：实验 2：用 Phoenix 追踪 agent
- 模块 2：定义应用需求
- 模块 2：把需求转化为测试用例
- 模块 2：分析与标注失败
- 模块 2：构建可信赖的测试集
- 模块 2：构建 Northwind 基准
- 模块 2：实验：构建 Northwind 基准
- 模块 3：构建代码评估器
- 模块 3：使用 LLM 评审器
- 模块 3：撰写自定义评分规则
- 模块 3：验证 LLM 评审器
- 模块 3：把评估器应用于 Northwind
- 模块 3：实验：构建可信赖的评估器
- 模块 4：评估响应背后的工作
- 模块 4：评估动作与工具调用
- 模块 4：评估执行轨迹
- 模块 4：跨对话轮次评估
- 模块 4：验证任务结果
- 模块 4：综合解读评估结果
- 模块 4：实验：评估 agent 的行为
- 模块 5：规划一次改进测试
- 模块 5：比较版本并权衡取舍
- 模块 5：选择干预位置
- 模块 5：出现回退后调整改动
- 模块 5：部署后持续改进 agent
- 模块 5：把生产失败转为回归测试
- 模块 5：实验：评估 agent 的行为