The Revenge of the Data Scientist
理解 LLM 应用评测中常见的方法论错误,并能用数据科学的做法(看数据、验证 LLM 裁判、改进实验设计与标注)来构建更可靠的评测。
博客:技术或产品博客文章:深度个人博客,或讲行业最佳实践的官方博客。
理解 LLM 应用评测中常见的方法论错误,并能用数据科学的做法(看数据、验证 LLM 裁判、改进实验设计与标注)来构建更可靠的评测。
理解 GitHub Copilot 为什么把补全、next edit suggestions 与长距离编辑合并为一个“3-in-1”行内建议模型,以及为什么要把任务重构为统一的 diff patch 输出格式。
了解把代码补全、近处编辑建议与远距离编辑统一到单一模型中的工程方法,以及如何用离线基准、线上实验和客户端行为分析共同提升编码助手的用户体验。
了解从 MongoDB 向 DuckDB 导入数据的可选方案,能说明 mongo 社区扩展与 JDBC 批量插入的做法、耗时差异与取舍。
学会在自动化评测中为决策模型(decision model)挑选与调优判定阈值、在性能与成本之间取舍,并正确解读其概率分数。
掌握在一个数据科学项目启动阶段把模糊需求转化为可用原型的做法,包括澄清业务意图、设定需求与约束、早查数据、搭建可复现实验流水线。
理解推荐/搜索排序中位置偏差的成因,掌握基于随机化与日志数据测量位置偏差的多种方法,并能在训练与线上服务中缓解偏差。
理解并区分 ε-greedy、UCB、Thompson Sampling 三类老虎机算法,了解它们在推荐系统工业实践中的落地方式与取舍。
能用常见设计模式的术语识别并组织机器学习代码与系统组件,借助 PyTorch、Pandas、Spark、scikit-learn、XGBoost 等库的既有接口写出更易复用和扩展的代码。
读者能理解为什么复杂方案更易获得认可,以及简单方案在可理解性、可扩展性、运维成本、可靠性上的实际优势,并在机器学习与系统工程中更有依据地选择简单方法。
能够为一个数据/机器学习管线划分测试范围,并用 Pandas 与 PyTest 编写不易随数据变化而失效的行级、列级、表级、schema 与集成测试。