YouTube··6 天前
AI 工程师现在做什么?——Aparna Dhinakaran,Arize AI
What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI
Arize AI 的 Aparna Dhinakaran 讨论在领域从编写功能转向运行智能体工厂的过程中,AI 工程师的实际工作是什么,认为当前的任务是构建闭环:评估非确定性工作的评测、智能体消费的遥测,以及据此行动的智能体。她介绍 Arize 如何构建常驻智能体 Signal,用于读取追踪数据、记住以往问题并提交 PR,内容涉及触发条件、沙箱、持久状态以及如何评估评估器。
- 分级
- 值得看
- 收录时间
- 2026-10-26
推荐阅读
别轻信你的 AI 智能体,像科学家一样测试它们——Stephanie Jarmak,Omni Analytics
Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics
讲者 Stephanie Jarmak 曾在 Sourcegraph 构建大型编码基准,现于 Omni Analytics 做评测工作。她在演讲中指出多数智能体评测容易被误读,例如仅更换评测框架就让结果变化 30%;主张把公开基准用于初筛而非决策,并像做实验一样设计自建评测:真实任务、重复运行、完整追踪和与关注目标匹配的度量。还涉及质量门禁、人工复核瓶颈以及生产环境才是最终检验等话题。
在你睡觉时自我改进的智能体——Fuad Ali,Arize AI
Agents That Self Improve While You Sleep - Fuad Ali, Arize AI
这是 Arize AI 的 Fuad Ali 的一场工作坊视频,讲解如何为 AI 智能体搭建自我改进闭环:追踪全部数据,让常驻智能体 Signal 按计划读取轨迹并提交去重后的问题,把失败转化为评估与持续更新的回归数据集,运行实验证明修复有效,并在评估设计、数据集整理和修复审查等环节保留人工参与。演示基于一个预先植入了缺陷的玩具购物智能体,并包含关于定性输出评估、决策模型与成本的问答。
1368 起 AI 失败案例及其对评估的启示 — Vishal Srivastava(纽约人寿)& Tanmay Sah
1,368 AI Failures and What They Teach About Evals — Vishal Srivastava, New York Life & Tanmay Sah
这是一段会议演讲录像,讲者分析了公共 AI 事故数据库中的 1368 起事件,考察真实失败能为 AI 系统测试方式提供什么启示。他们把失败归入技术能力、部署管控和业务影响三个维度及 13 个子类别(覆盖约 98% 的事故),指出人工复核、监控等部署管控薄弱与危害关联最紧密,并介绍了按风险大小排序用例、检验评估器本身、以及用“构建—攻破—修复”循环主动找系统错误的方法,最后以一家航空公司聊天机器人给出错误退款政策为例。材料未说明适合谁读。
你的智能体修复改坏了别的东西——Sofia Jakovcevic,Arize AI
Your Agent Fix Just Broke Something Else - Sofia Jakovcevic, Arize AI
Arize AI 的前置部署工程师 Sofia Jakovcevic 以一处一行提示词改动使客服智能体安全性提高 17 个百分点、完成任务能力下降 17 个百分点为例,说明智能体是在运行时而非在代码中失败。她介绍一套基于生产追踪数据构建的五步回归流程:整理数据集、用评估器打分、运行基线实验、比较改动、在 CI 中卡住合并,并演示如何用编码智能体读取追踪数据自我修复。
如何用 Harbor 在真实任务上测试你的智能体——Xander Song,Arize AI
How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI
这是 Arize AI 工程师 Xander Song 介绍 Harbor 的演讲视频,Harbor 是一个在隔离沙箱中用真实数据评估智能体在真实任务上表现的开源框架。内容涵盖任务、Docker 环境、验证器与奖励、试验与作业、在消耗 token 前校验配置的 oracle,以及 ATIF 轨迹;随后演示团队如何在 Daytona 与 Phoenix 上大规模运行 Harbor,用于测试一次将智能体导向新 SQL 工具的提示改动,最后是问答环节。
高风险 AI 智能体的评估
Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse
Langfuse 的 Annabell Schäfer 和 Doneyli De Jesus 的一场实操工作坊,用一个银行助手演示 AI 工程闭环:带 PII 脱敏的追踪、构建数据集、把领域专家意见转化为失败模式、LLM-as-a-judge 与代码评估器,以及当分数下降时在 CI 中阻止提示词变更。还涉及面向利益相关者的仪表盘和与编码智能体协作。材料列出各章节时间点。