Thinking about High-Quality Human Data
理解人类标注数据质量的完整链路:从标注任务设计、标注员选拔与培训,到一致性度量与真值聚合,并能把多数投票、Raw agreement、Cohen's Kappa、MACE 等方法用于实际标注项目的质量评估与聚合。
文章
免费
有使用限制
Lil'Log
找到想学的,开始学。
说出学习目标,回答几道选择题,为你挑 1–2 个合适的资源;资源库没有的会检索外部信源。
理解人类标注数据质量的完整链路:从标注任务设计、标注员选拔与培训,到一致性度量与真值聚合,并能把多数投票、Raw agreement、Cohen's Kappa、MACE 等方法用于实际标注项目的质量评估与聚合。
读懂并会用缩放定律:理解损失随模型规模、数据量、算力按幂律下降的经验规律,能区分 Kaplan 与 Chinchilla 的结论差异,并了解在小规模实验上拟合、外推到大模型配置的基本做法。
理解 harness engineering 的核心概念与设计模式,掌握构建可迭代、可自改进 AI Agent 外壳系统的思路与工程取舍。
以 MySQL 8.0 为环境,从零掌握 SQL 基础查询、复杂查询、集合运算与高级处理,并通过面试题练习应对求职与日常数据工作。
用概率模型和决策算法处理不确定性,学习动态规划、强化学习及部分可观测决策。
