“遏制”在骗你：像评估员工一样衡量 AI 智能体——Druid AI

Containment Is Lying to You: Measuring AI Agents Like Employees — Druid AI

AI 导读

Druid AI 团队以两个 AI 实习生的例子说明：单看遏制率（containment rate，智能体独立处理的对话比例）会选出错误的智能体——处理 96% 对话的那个未必更好，因为另一个更常转人工的实习生把即将再融资的客户交给了资深银行家。他们介绍与客户共建的绩效评估框架：七个支柱分为智能体的配置与运行时表现两类，治理贯穿两者；26 个组成部分各按 0、1、2 打分（缺失、已定义、真正受治理并持续追踪）并按业务影响加权，其中治理与授权权重最高。内容还涉及容错、风险、合规、可观测性、漂移、幻觉、语气、授权范围与预算、结果验证，以及一个全年显示绿色但真实分数从 83% 降到 60% 的面板、ROI 问题和不同行业的遏制率目标。