如何判断你的 AI 智能体是否靠谱：用 Phoenix 与 Claude 做评估

这是 Laurie Voss（Arize AI 开发者关系负责人、npm 联合创始人）的一场工作坊录像，以一个由 Claude 驱动的金融分析师智能体为例，搭建完整的评估闭环：用 Arize Phoenix 做追踪、阅读追踪记录、编写代码评估和 LLM-as-a-judge 评估、测试评判模型本身是否可信、用实验验证提示词修复效果、从 Claude Haiku 4.5 升级到 5.5，并在 CI 中用 npm test 做门禁。开场用例是智能体写出“116% 分析师同意”这类自信错误。适合构建生产级智能体、关心评估流程的工程师。