Thinking about High-Quality Human Data
理解人类标注数据质量的完整链路:从标注任务设计、标注员选拔与培训,到一致性度量与真值聚合,并能把多数投票、Raw agreement、Cohen's Kappa、MACE 等方法用于实际标注项目的质量评估与聚合。
文章
免费
有使用限制
Lil'Log
从一个学习目标,找到适合的课程、书籍与教程。
理解人类标注数据质量的完整链路:从标注任务设计、标注员选拔与培训,到一致性度量与真值聚合,并能把多数投票、Raw agreement、Cohen's Kappa、MACE 等方法用于实际标注项目的质量评估与聚合。
读懂并会用缩放定律:理解损失随模型规模、数据量、算力按幂律下降的经验规律,能区分 Kaplan 与 Chinchilla 的结论差异,并了解在小规模实验上拟合、外推到大模型配置的基本做法。
理解 harness engineering 的核心概念与设计模式,掌握构建可迭代、可自改进 AI Agent 外壳系统的思路与工程取舍。

