AI 模型评估

研究评价中的定量方法

Quantitative Methods in Research Evaluation

这是一本由 White Rose University Press 出版的开放获取图书，作者为 Thelwall, Mike，出版信息只给到 2026 年。书中考察引文指标、替代计量（altmetrics）与人工智能方法在研究质量评价中的使用，结合理论讨论与实证证据，涉及这些指标的价值、局限及对招聘等评价决策的影响。主题词包括科学计量学、文献计量学和大语言模型。

面向 AI 工程师的评测

Evals for AI Engineers

Open Library 收录的书籍条目，作者为 Shreya Shankar 与 Hamel Husain，出版社 O'Reilly Media，出版年份 2026，副标题为“系统性地度量与改进 AI 应用”；Open Library 显示该书目前在平台上不可借阅。信源仅提供到年份，版次未知，且 Open Library 对 O'Reilly Media 的覆盖不全。适合从事 AI 应用开发、关注评测方法的工程师作为书目信息参考。

上下文工程

Context Engineering

DeepLearning.AI 上的一门中级课程“Context Engineering”，与 Chroma 合作制作，讲师为 Jeff Huber 和 Drew Breunig。课程共 37 个视频、8 个代码示例、6 次评分作业，时长约 18 小时 56 分，内容涵盖智能体搜索、上下文管理（裁剪、压缩、草稿板）和智能体记忆。材料显示该课程于 2026 年 10 月 26 日更新，证书需 PRO 会员。

LLM 评估与对齐的基础理念

LLM Evaluation and Alignment, The Foundational Ideas

这是 Manning Publications 出版的图书，作者为 Han Lee，共 275 页，预计 2027 年 1 月 15 日出版，目前尚未出版。简介称该书把判断与调整 AI 系统的基础研究转化为实用技术，讲解从文本匹配到语义相似度再到基于判断的评估的演进脉络，并提出以“从必须做对的事倒推”的方法把评估作为设计约束，围绕“定义—评估—分析—对齐”循环展开。

Stanford CS329Z：AI 智能体工程（2026 秋）

斯坦福大学 CS329Z“Engineering AI Agents”2026 年秋季课程主页，授课教师包括 Diyi Yang、Michael Ryan、John Yang 等。课程围绕从单体语言模型转向由 LLM、检索器、工具和优化器等多个组件构成的复合 AI 系统，讲授如何选择问题、拆解问题、选择组件、收集与整理数据、构建评估以及权衡设计取舍；学生先从零实现 RAG、工具调用、智能体循环等核心组件，再学习 DSPy 等框架的抽象，并通过两次作业和一个整季项目实践构建、优化与评估智能体系统。课程周一、周三 13:30–14:50 在 Skilling Auditorium 上课。

Bridgewater 如何把一亿份文档变成优势——Sam Green 与 Aaron Linsky，Bridgewater

How Bridgewater Turned 100 Million Documents Into an Edge - Sam Green & Aaron Linsky, Bridgewater

Bridgewater Associates 的应用 AI 团队负责人 Sam Green 和产品工程负责人 Aaron Linsky 介绍其名为 Vault 的系统：汇集来自 135 个外部来源的一亿多份文档以及公司自身的备忘录和会议记录，经清洗、权限化和按内部本体标注。演讲给出三条经验：人和智能体对搜索的需求不同、最大的收益来自同时服务两者的单一工具、真正的目标是让智能体主动把值得关注的内容带给投资人，并提到自建基准使 precision at 10 从约 60% 提升到 90% 以上。