更多博客

YouTube10 天前

博客进阶

1368 起 AI 失败案例及其对评估的启示 — Vishal Srivastava（纽约人寿）& Tanmay Sah

1,368 AI Failures and What They Teach About Evals — Vishal Srivastava, New York Life & Tanmay Sah

AI 导读

这是一段会议演讲录像，讲者分析了公共 AI 事故数据库中的 1368 起事件，考察真实失败能为 AI 系统测试方式提供什么启示。他们把失败归入技术能力、部署管控和业务影响三个维度及 13 个子类别（覆盖约 98% 的事故），指出人工复核、监控等部署管控薄弱与危害关联最紧密，并介绍了按风险大小排序用例、检验评估器本身、以及用“构建—攻破—修复”循环主动找系统错误的方法，最后以一家航空公司聊天机器人给出错误退款政策为例。材料未说明适合谁读。

打开原文
分级
值得看
收录时间
2026-10-26
博客发布 10-20
YouTube

把 AI 落地到五家大型银行，而不用等 12 个月合规审查——Cisco 的 Al Chen

Shipping AI Into 5 Major Banks Without a 12-Month Compliance Wait — Al Chen, Cisco

这是一场技术演讲，讲者来自 Cisco，介绍在五家大型银行内部署 AI 软件的过程，重点是如何避免长达一年的合规瓶颈。内容涵盖构建流水线、用代理编写并测试漏洞利用来修复 CVE、备份与恢复验证、LLM 评审器导致的 PII 泄露，以及为何零泄露和数据主权从来不是免费的。适合关注金融行业 AI 部署与合规安全的工程人员观看。

进阶隐私与风险治理攻击与安全防护
查看详情 →
博客发布 10-26
YouTube

AI 工程师现在做什么？——Aparna Dhinakaran，Arize AI

What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI

Arize AI 的 Aparna Dhinakaran 讨论在领域从编写功能转向运行智能体工厂的过程中，AI 工程师的实际工作是什么，认为当前的任务是构建闭环：评估非确定性工作的评测、智能体消费的遥测，以及据此行动的智能体。她介绍 Arize 如何构建常驻智能体 Signal，用于读取追踪数据、记住以往问题并提交 PR，内容涉及触发条件、沙箱、持久状态以及如何评估评估器。

进阶追踪与故障诊断智能体评测
查看详情 →
帖子发布 10-29
Reddit

在做一种让本地 LLM 共享上下文而不必集中化一切的方式

Working on a way for local LLMs to share context without centralizing everything

这是一篇 Reddit r/LocalLLaMA 社区帖子，作者描述多人或多台机器使用本地模型时共享上下文的困难（重复 embeddings 或向量库、手动搬运上下文、引入中心服务），并介绍他们正在试验的一个小型可移植上下文层，让有用的事实或决策能在本地环境之间转移而不必随带整个底层数据集。作者还提到目前仍处早期，正在讨论来源追溯、权限、过期上下文和模型可记忆范围等问题，并向读者询问在跨机器或团队场景下如何处理共享上下文。适合在多台机器或团队中部署本地模型、关心本地上下文共享方案的人阅读。

进阶隐私与风险治理上下文与记忆
查看详情 →
博客发布 10-22
YouTube

没有基准时如何测试 AI 代理——Air Canada 的 Nathanael Weill

How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada

演讲者带领 Air Canada 的 AI 代理团队，面对任务过于具体、没有公开基准且领域专家无暇评分的问题，他的做法是“先写答案”：从已知答案出发生成输入，再看代理能否找回该答案。这使一个 RAG 项目从每周一次专家评分测试提升到每天数十次自动化测试；随后他把方法用于供应商合同审查代理，给出五种构建测试集的方式：过往决策、植入规则违规、删除条款、不应产生影响的变化，以及填空式合同模板。他还解释了为何在代码能校验答案时避免使用 LLM 评审。

进阶智能体评测模型裁判与质量评估
查看详情 →
博客发布 07-02
Anthropic

Fable 5 的网络安全防护与我们的越狱框架

Fable 5's cyber safeguards and our jailbreak framework

文章在 Claude Fable 5 重新上线之际介绍两方面内容：一是随模型推出的网络安全防护，即检测和阻止危险或潜在危险网络安全用途的安全分类器，并详细列出其设计上要防止和不针对的危害类型；二是与 Glasswing 合作伙伴共同制定的 AI 越狱严重程度框架初稿，说明越狱是绕过模型防护的非常规提示方式，严重程度不一，目前尚无公认框架。适合关注 AI 安全防护与越狱评估的读者。

进阶隐私与风险治理攻击与安全防护
查看详情 →
教程发布 10-27
YouTube

在你睡觉时自我改进的智能体——Fuad Ali，Arize AI

Agents That Self Improve While You Sleep - Fuad Ali, Arize AI

这是 Arize AI 的 Fuad Ali 的一场工作坊视频，讲解如何为 AI 智能体搭建自我改进闭环：追踪全部数据，让常驻智能体 Signal 按计划读取轨迹并提交去重后的问题，把失败转化为评估与持续更新的回归数据集，运行实验证明修复有效，并在评估设计、数据集整理和修复审查等环节保留人工参与。演示基于一个预先植入了缺陷的玩具购物智能体，并包含关于定性输出评估、决策模型与成本的问答。

进阶模型裁判与质量评估智能体评测
查看详情 →