如何写出你的第一个 AI 评估（Eval）——SallyAnn DeLucia，Arize AI

评估生成式 AI 应用

Evaluate generative AI applications

Microsoft Learn 上的一条学习路径，共 2 个模块，面向初学者、开发人员角色，涉及 Azure Foundry Tools 和 Content Safety。内容包括评估生成式 AI 应用的基本概念与方法、分析输出质量、用自定义评估器评估输出，以及使用 Azure AI Evaluation SDK 运行评估并生成合成数据集。先决条件包括 Azure 订阅、对 Azure 门户的基本熟悉、初级 Python 能力，以及 GitHub 账号或本地 Docker、VS Code 开发容器扩展。

如何判断你的 AI 智能体是否靠谱：用 Phoenix 与 Claude 做评估

How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude — Laurie Voss, Arize AI

这是 Laurie Voss（Arize AI 开发者关系负责人、npm 联合创始人）的一场工作坊录像，以一个由 Claude 驱动的金融分析师智能体为例，搭建完整的评估闭环：用 Arize Phoenix 做追踪、阅读追踪记录、编写代码评估和 LLM-as-a-judge 评估、测试评判模型本身是否可信、用实验验证提示词修复效果、从 Claude Haiku 4.5 升级到 5.5，并在 CI 中用 npm test 做门禁。开场用例是智能体写出“116% 分析师同意”这类自信错误。适合构建生产级智能体、关心评估流程的工程师。

Entelligence-AI/agentplay

一个开源项目，用于以地图和时间线的形式回放编程智能体会话，标签涉及 agent 可观测性、Claude Code、Codex、Cursor、GitHub Copilot 等。项目主页为 entelligence.ai/agentplay，在 PyPI 发布 Python 包，采用 Apache 2.0 许可证。

“难以评估”是一种产品缺陷信号

“It's Hard to Eval” Is a Product Smell

作者 Hamel Husain 基于三年做 AI 评估的经验，认为“我们的产品很难评估”这一常见说法本身反映了产品设计问题：用户难以验证的输出，用户往往同样难以验证，最坏情况下只能从头重做一遍。文章主张在设计评估之前，应先把产品做成易于验证的形式，并通过他参与顾问的三个产品案例，配以改动前后的设计草图来说明原则，最后讨论如何把这一模式应用到其他产品。文中第一个例子是 AI 数据代理，指出只输出最终答案会导致用户无法核对。适合负责 AI 产品设计与评估的人阅读。

assafkip/claudemy

这是一个面向 Claude Code 的开源免费技能，定位为 Udemy、Coursera 的替代方案。用户给出一个主题，它会检索网络资料并生成约 12 节、每节 2 分钟的音频课程，并附上引用来源。技术标签显示其涉及文本转语音（ElevenLabs）、微学习与课程生成等方向。

Anthropic 经济指数报告：节奏（Cadences）

Anthropic Economic Index report: Cadences

这是 Anthropic 经济指数的最新一期报告，关注人们何时使用 Claude、用它产出什么，以及如何感知 AI 对工作的影响。文中说明，随着 Claude Code 和 Cowork 增长，使用形式正从对话转向长时间运行的智能体任务，因此数据管线作出调整：提高采样率以观察小时级使用模式、引入标注对话输出的新分类器，并按月分别公布聊天与 Cowork 对话及第一方 API 的细分数据。材料未说明具体适合哪类读者。