Thinking about High-Quality Human Data

学完你能

• 描述采集高质量人类标注数据的标准操作流程（任务设计、标注员招募与培训、数据聚合、质量保证）
• 解释「群体智慧」的由来，并说明众包标注在机器翻译评测中的早期做法与结论
• 计算并解释多数投票、Raw agreement 与 Cohen's Kappa 三种一致性/聚合指标的区别与适用条件
• 用概率图模型（含 MACE 的生成过程与 EM/VB 优化）估计标注员可信度并识别「刷题者」
• 说明评分者不一致的两种范式，以及为什么「一致不等于正确」
• 为具体标注项目选择合适的一致性度量与聚合方案，并给出质量保证建议

适合你吗

课程特点

内容侧重

侧重实践应用

练习与项目

原站未说明配套练习。建议自行用一份带多人标注的小数据集，分别计算多数投票、Raw agreement 与 Cohen's Kappa，并比较结果差异。

学习时长

1 个课节原站未给出统一学习时长；实际用时取决于已有基础。

内容费用

免费网页内容可直接公开阅读，未见任何付费或订阅要求。

内容覆盖

• Human Raters ↔ Data Quality
• The Wisdom of the Crowd
• Rater Agreement
• Rater Disagreement & Two Paradigms
• Data Quality ↔ Model Training
• Influence Functions
• Prediction Changes during Training
• Noisy Cross-Validation