学习模型打分、评分细则和证据核验，适合设计自动审核与质量评估的读者。
28 条精选 · 入门 3 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Evaluate generative AI applications
Microsoft Learn 上的一条学习路径，共 2 个模块，面向初学者、开发人员角色，涉及 Azure Foundry Tools 和 Content Safety。内容包括评估生成式 AI 应用的基本概念与方法、分析输出质量、用自定义评估器评估输出，以及使用 Azure AI Evaluation SDK 运行评估并生成合成数据集。先决条件包括 Azure 订阅、对 Azure 门户的基本熟悉、初级 Python 能力，以及 GitHub 账号或本地 Docker、VS Code 开发容器扩展。
Just-in-Time Ontologies: What Cheap Intelligence Means for Data — Hrishi Olickel, Southbridge AI
一个会议演讲视频。演讲者以一条把贷款金额的正负号去掉、将净 784,000 美元变成 530 万美元债务、且多个模型给出相同错误结果的流水线为例，说明数据转换不能只靠通用模式或自信的智能体，因为“客户”对计费、支持、合规部门含义不同。他提出的替代方案是“即时本体”：在问题明确时构建转换，并保留其上下文与证据以便复用。工作示例是俄亥俄州竞选财务实体消解项目，涉及区分设计流水线的模型、执行单项任务的模型和优化系统的模型，以及定义、留出案例、分歧检查、稳定执行面、预算上限和失败方式界定等做法。