Thinking about High-Quality Human Data
理解人类标注数据质量的完整链路:从标注任务设计、标注员选拔与培训,到一致性度量与真值聚合,并能把多数投票、Raw agreement、Cohen's Kappa、MACE 等方法用于实际标注项目的质量评估与聚合。
文章
免费
有使用限制
Lil'Log
从研究方向出发,找到想学的具体主题。
分类参考 ICLR 2026 与 NeurIPS 2026 征稿范围,用于学习导航,不代表唯一学术分类。
人工智能 / 评测与可信 AI
研究模型可靠性、安全、隐私及解释方法。
理解人类标注数据质量的完整链路:从标注任务设计、标注员选拔与培训,到一致性度量与真值聚合,并能把多数投票、Raw agreement、Cohen's Kappa、MACE 等方法用于实际标注项目的质量评估与聚合。