评估 AI 智能体：不再靠“感觉”检查

reacher-z/Awesome-CUA

一个关于计算机使用智能体（computer-use agents）的开源、可溯源资料集，收录经审阅的论文、GUI 模型、数据集、基准测试与工具，并提供可复用的 JSONL/SQLite 数据。仓库标签涵盖智能体评测、浏览器智能体、GUI 定位、视觉语言模型、强化学习等方向，另设配套网站与中英文 README。

深入理解 AI Agent

一本以中文为主、采用 Apache 2.0 许可证在 GitHub 上开源并持续更新的 AI Agent 技术书，可下载中文 PDF 与 EPUB，并提供英文、西班牙文、日文等多语种（含社区翻译）阅读入口。全书以“Agent = LLM + 上下文 + 工具”为主线，共 10 章：Agent 基础知识与 Harness 工程、上下文工程（含 KV Cache 友好的上下文设计）、用户记忆与知识库（RAG）、工具（含 MCP 与 Skill Hub）、Coding Agent 与通用 Agent、观察与动作空间扩展（异步事件驱动、语音）、Agent 评估（含 τ²-bench 案例与评估指标）、模型后训练、Agent 持续进化、多 Agent 协作，另附后记与思考题参考答案。适合想系统了解 Agent 设计原理与工程实践的开发者阅读。

Stanford CS329Z：AI 智能体工程（2026 秋）

斯坦福大学 CS329Z“Engineering AI Agents”2026 年秋季课程主页，授课教师包括 Diyi Yang、Michael Ryan、John Yang 等。课程围绕从单体语言模型转向由 LLM、检索器、工具和优化器等多个组件构成的复合 AI 系统，讲授如何选择问题、拆解问题、选择组件、收集与整理数据、构建评估以及权衡设计取舍；学生先从零实现 RAG、工具调用、智能体循环等核心组件，再学习 DSPy 等框架的抽象，并通过两次作业和一个整季项目实践构建、优化与评估智能体系统。课程周一、周三 13:30–14:50 在 Skilling Auditorium 上课。

智能体说完成了，数据库不同意

The Agent Said It Was Done. The Database Disagreed.

这篇微软与 Hugging Face 的联合博客介绍 Microsoft ThinkingBox，它不评估智能体生成的文字，而是依据其在隔离 MCP 工具会话中留下的终端状态和副作用打分，并考察能否连续二十次完成。文中以一个厨房电器配送纠纷的客服场景为例，说明智能体做出多次工具调用并给出回复后，其结果仍需按实际记录核验。ThinkingBox 现可通过 Hugging Face 使用。

与 Ironclad 合作推进计算机使用能力

Advancing computer use with Ironclad

OpenAI 的一篇研究出版物，介绍与 Ironclad 的研究合作如何把复杂的合同工作流转化为训练任务，用于训练和评估 AI 智能体在专业工作中的计算机使用能力，文中包含 Astra 在该任务上的表现等内容。