# 高风险 AI 智能体的评估

- 原标题：Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse
- 类型：教程
- 来源：YouTube
- 发布时间：2026-10-18
- 首次精选：2026-10-26 16:31
- 分级：值得看
- 学习层级：进阶
- 主题：[judges-quality-validation](<https://oplearnx.com/md/topics/judges-quality-validation.md>)（第 8 位）、[agent-evaluation-reliability](<https://oplearnx.com/md/topics/agent-evaluation-reliability.md>)（第 12 位）
- 原文链接：[https://youtube.com/watch?v=obfPzbapMIM](<https://youtube.com/watch?v=obfPzbapMIM>)
- 本站页面：[https://oplearnx.com/resources/pk\_15889ea93d63](<https://oplearnx.com/resources/pk_15889ea93d63>)

## 摘要

Langfuse 的 Annabell Schäfer 和 Doneyli De Jesus 的一场实操工作坊，用一个银行助手演示 AI 工程闭环：带 PII 脱敏的追踪、构建数据集、把领域专家意见转化为失败模式、LLM-as-a-judge 与代码评估器，以及当分数下降时在 CI 中阻止提示词变更。还涉及面向利益相关者的仪表盘和与编码智能体协作。材料列出各章节时间点。

---
来源：LearnMap · 学径（https://oplearnx.com）