全部资源

博客精选。

411 条精选
博客发布 10-30
Meta 工程博客

在缺陷上线前拦截:JiTTesting 在全规模下的人机协同方法

Catching Bugs Before They Land: JiTTesting’s Human-on-the-Loop Approach at Full Scale

这是 Meta 工程博客的一篇文章,介绍其用大语言模型在代码提交前即时生成测试(Catching JiTTests)的方法从研究原型落地为内部基础设施的过程,并给出五个月部署中减少负载与误报的观察结果。文中还提到论文《Just-in-Time Catching Test Generation at Meta》对首次部署和测试细节的完整记录。适合关注大规模代码库测试、LLM 辅助软件工程的人阅读。

博客发布 10-30
Simon Willison 博客

用自主的 Fable 级模型构建一个多人游戏世界

Building a multiplayer game world with autonomous Fable-class models

这是 Simon Willison 博客上的一篇转述,介绍 Jacob Sansbury 讲述的多人游戏环境 Spawn:玩家可通过提示让游戏内 AI 代理 Savi 修改世界,作者本人用手机试过生成城堡和龙。文中称 Spawn 现由一群 Fable 驱动的代理自主开发,每月 token 花费超 300 万美元,约六成工作源自生产错误、Savi 提交的 bug 报告、日志异常或功能请求,改动通常一小时内送达用户。适合对代理式工程、前端模型自动化开发流程感兴趣的人阅读。

博客
Lilian Weng 博客

什么是扩散模型?(Lil'Log 扩散模型详解)

Lil'Log 博客上的一篇长文,系统讲解扩散模型:前向扩散过程、与随机梯度 Langevin 动力学的联系、反向扩散过程、训练损失的参数化与化简、与噪声条件得分网络(NCSN)的关联、β_t 与反向过程方差的参数化,以及分类器引导和无分类器引导的条件生成、采样加速(蒸馏、一致性模型)、潜变量空间,并设有模型架构与要点小结章节。文章自 2021 年发布后多次更新,陆续补充了 GLIDE、unCLIP、Imagen、潜在扩散模型和渐进蒸馏等内容,开头还对比了 GAN、VAE、流模型等生成模型的局限。适合有深度学习基础、想了解扩散模型原理与推导的读者阅读。

博客
Lilian Weng 博客

思考高质量人类数据

Thinking about High-Quality Human Data

Lilian Weng 在个人博客 Lil'Log 上发布的文章,讨论高质量数据对深度学习模型训练的重要性,以及人类标注数据采集中的质量问题。文中从两个方向展开:人类标注者与数据质量,包括任务设计、标注者筛选与培训、群体智慧、标注者一致性与分歧及两种范式;数据质量与模型训练,包括影响函数、训练过程中的预测变化与带噪交叉验证。文末附引用文献,并致谢 Ian Kivlichan 提供线索与反馈。适合关注数据标注、RLHF 数据与模型训练数据质量的人阅读。

博客发布 10-07
developer.nvidia.com

使用 NVIDIA Megatron Core 扩展按位确定性预训练

Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core

NVIDIA 技术博客的一篇文章,介绍 Megatron-LM PR #7262 提出的工作流:记录各 rank 有序的张量指纹,用于定位并修复大规模预训练中的非确定性。文中说明按位确定性可支持故障重放、loss 尖峰调试、系统变更验证以及中断的万亿参数训练恢复;在三项 Nemotron 工作负载上优化后,在 2,432 块 GPU 上把确定性开销降至约 2%,并在 800 步内保持按位确定性。还提到通过为 grouped-GEMM 写入者分配私有输出槽位、采用固定归约顺序等内核级改动,在保持并行的同时恢复确定性结果;Megatron Core 通过配方验证、内核测试和跨并行配置(含 FP8、FP4)的模块验证来防止回退。

博客发布 10-06
developer.nvidia.com

用 Green Contexts 控制 GPU 如何共享工作

Control How Your GPU Shares Work with Green Contexts

NVIDIA 技术博客的一篇文章,介绍 CUDA 13.1 中的 green contexts:允许应用在单个进程内显式划分 SM 和工作队列等 GPU 执行资源。文中举例说,为 green context 分配专用 SM 后,延迟敏感的 kernel 无需等待批量任务排空,在拥有 148 个 SM 的 Blackwell GPU 上可将关键 kernel 延迟从 0.140 ms 降至 0.007 ms。编程模型从 green context 句柄创建 stream,而不再依赖隐式的线程本地设备状态,同时保留既有基于 stream 的 CUDA 工作流;green contexts 为可选、可叠加特性,现有应用可按需逐步采用。

博客发布 04-04
Sebastian Raschka

编程 Agent 的组成部件

Components of A Coding Agent

Sebastian Raschka 在其 Substack 杂志上于 2026 年 4 月 4 日发布的文章。文章讨论编程 Agent 与 agent harness 的整体设计,说明它们是什么、如何工作以及各部分在实践中如何配合,并指出工具使用、上下文管理和记忆等外围系统在实际 LLM 应用中与模型本身同样重要,这解释了 Claude Code、Codex 等系统为何比在普通对话界面中使用同样模型显得更能干;文中列出编程 Agent 的六个主要构建模块。面向关注 Agent 设计与实现的读者。

博客发布 2022-09-04
eugeneyan.com

为数据与机器学习流水线编写稳健的测试

Writing Robust Tests for Data & Machine Learning Pipelines

Eugene Yan 博客上的一篇文章,标注为工程/机器学习/生产方向,阅读时长约 19 分钟。文章从“新代码正确但测试仍然失败”的现象出发,用一个简单流水线演示单元测试、schema 测试和集成测试,再引入新数据与新逻辑观察测试如何失效,从中总结模式,讨论测试的效度、粒度与范围等相关概念,最后给出让流水线测试不易脆弱的建议,并指出测试范围越小反馈回路越短。面向从事数据与 ML 工程实践的读者。

博客发布 2022-06-12
eugeneyan.com

机器学习代码与系统中的设计模式

Design Patterns in Machine Learning Code and Systems

这是一篇博客文章,讨论机器学习代码和系统中常见的设计模式,主要参照《设计模式》一书。文中涵盖库与代码层面的工厂模式等,并以 PyTorch 的 Dataset 子类化(重写 __len__ 和 __getitem__)为例说明自定义数据集的写法。适合从事机器学习工程、想为设计讨论建立共同词汇的人阅读。

博客发布 2022-05-08
eugeneyan.com

面向推荐系统的 Bandit 方法

Bandits for Recommender Systems

这篇博客文章讲解 Bandit 方法如何通过建模不确定性并主动探索来解决推荐系统的反馈回路问题,尤其适用于物品集合快速变化(新闻、广告、推文)或流量较低的场景。文中简要讨论了 ε-greedy、UCB 和 Thompson Sampling 三种主要算法,并提及工业界实现。适合做推荐系统、关注探索与利用问题的人阅读。

博客发布 2022-04-17
eugeneyan.com

如何测量与缓解位置偏差

How to Measure and Mitigate Position Bias

这篇博客文章说明位置偏差:排位靠前的物品更容易被看到和点击,与相关性无关,例如 Google 搜索首位点击量约为第十位的 10 倍。文中还讨论了展示偏差、点击首个相关结果后忽略其余等原因,以及偏差通过历史数据自我强化的反馈回路,并给出测量与缓解方式的笔记。适合做推荐系统、关注排序与评估偏差的人阅读。

博客发布 2022-03-06
eugeneyan.com

数据科学项目快速启动

Data Science Project Quick-Start

这篇博客文章分享作者作为数据科学新人时踩过的坑与经验,讲如何从模糊问题走到可用原型。文中强调先理解项目意图和背景,举例说明要问清预期业务收益、现状问题以及为何现在要做,并以推荐引擎中“互动”指标(点击还是购买)如何决定训练标签来说明指标定义的影响。适合刚起步做数据科学项目的人阅读。