学习基准设计、模型比较和实验可信度，适合阅读评测或设计实验的读者。
39 条精选 · 入门 5 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
LLM Evaluation and Alignment, The Foundational Ideas
这是 Manning Publications 出版的图书，作者为 Han Lee，共 275 页，预计 2027 年 1 月 15 日出版，目前尚未出版。简介称该书把判断与调整 AI 系统的基础研究转化为实用技术，讲解从文本匹配到语义相似度再到基于判断的评估的演进脉络，并提出以“从必须做对的事倒推”的方法把评估作为设计约束，围绕“定义—评估—分析—对齐”循环展开。
AI Model Evaluation
Leemay Nassery 撰写、Manning Publications 出版的书籍，共 250 页，预计出版日期为 2027-01-15，尚未出版，目前在 Manning MEAP 目录中连载。内容围绕模型上线前的评估与上线后的运行，包括离线诊断评估、用影子流量模拟生产条件、设计 A/B 测试验证模型对产品指标的影响、以人在回路反馈发现细微失败、以及用 LLM 作为自动评判者扩展评估流程。作者介绍了其在 Spotify、Comcast、Dropbox、Etsy 等公司从事实验与个性化工作的经验。
Quantitative Methods in Research Evaluation
这是一本由 White Rose University Press 出版的开放获取图书，作者为 Thelwall, Mike，出版信息只给到 2026 年。书中考察引文指标、替代计量（altmetrics）与人工智能方法在研究质量评价中的使用，结合理论讨论与实证证据，涉及这些指标的价值、局限及对招聘等评价决策的影响。主题词包括科学计量学、文献计量学和大语言模型。