全部资源

博客精选。

排序:最新收录 · 推荐394 条精选
博客发布 10-07
developer.nvidia.com

使用 NVIDIA Megatron Core 扩展按位确定性预训练

Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core

NVIDIA 技术博客的一篇文章,介绍 Megatron-LM PR #7262 提出的工作流:记录各 rank 有序的张量指纹,用于定位并修复大规模预训练中的非确定性。文中说明按位确定性可支持故障重放、loss 尖峰调试、系统变更验证以及中断的万亿参数训练恢复;在三项 Nemotron 工作负载上优化后,在 2,432 块 GPU 上把确定性开销降至约 2%,并在 800 步内保持按位确定性。还提到通过为 grouped-GEMM 写入者分配私有输出槽位、采用固定归约顺序等内核级改动,在保持并行的同时恢复确定性结果;Megatron Core 通过配方验证、内核测试和跨并行配置(含 FP8、FP4)的模块验证来防止回退。

博客发布 10-06
developer.nvidia.com

用 Green Contexts 控制 GPU 如何共享工作

Control How Your GPU Shares Work with Green Contexts

NVIDIA 技术博客的一篇文章,介绍 CUDA 13.1 中的 green contexts:允许应用在单个进程内显式划分 SM 和工作队列等 GPU 执行资源。文中举例说,为 green context 分配专用 SM 后,延迟敏感的 kernel 无需等待批量任务排空,在拥有 148 个 SM 的 Blackwell GPU 上可将关键 kernel 延迟从 0.140 ms 降至 0.007 ms。编程模型从 green context 句柄创建 stream,而不再依赖隐式的线程本地设备状态,同时保留既有基于 stream 的 CUDA 工作流;green contexts 为可选、可叠加特性,现有应用可按需逐步采用。

博客发布 04-04
Sebastian Raschka

编程 Agent 的组成部件

Components of A Coding Agent

Sebastian Raschka 在其 Substack 杂志上于 2026 年 4 月 4 日发布的文章。文章讨论编程 Agent 与 agent harness 的整体设计,说明它们是什么、如何工作以及各部分在实践中如何配合,并指出工具使用、上下文管理和记忆等外围系统在实际 LLM 应用中与模型本身同样重要,这解释了 Claude Code、Codex 等系统为何比在普通对话界面中使用同样模型显得更能干;文中列出编程 Agent 的六个主要构建模块。面向关注 Agent 设计与实现的读者。

博客发布 2022-09-04
eugeneyan.com

为数据与机器学习流水线编写稳健的测试

Writing Robust Tests for Data & Machine Learning Pipelines

Eugene Yan 博客上的一篇文章,标注为工程/机器学习/生产方向,阅读时长约 19 分钟。文章从“新代码正确但测试仍然失败”的现象出发,用一个简单流水线演示单元测试、schema 测试和集成测试,再引入新数据与新逻辑观察测试如何失效,从中总结模式,讨论测试的效度、粒度与范围等相关概念,最后给出让流水线测试不易脆弱的建议,并指出测试范围越小反馈回路越短。面向从事数据与 ML 工程实践的读者。

博客发布 2022-06-12
eugeneyan.com

机器学习代码与系统中的设计模式

Design Patterns in Machine Learning Code and Systems

这是一篇博客文章,讨论机器学习代码和系统中常见的设计模式,主要参照《设计模式》一书。文中涵盖库与代码层面的工厂模式等,并以 PyTorch 的 Dataset 子类化(重写 __len__ 和 __getitem__)为例说明自定义数据集的写法。适合从事机器学习工程、想为设计讨论建立共同词汇的人阅读。

博客发布 2022-05-08
eugeneyan.com

面向推荐系统的 Bandit 方法

Bandits for Recommender Systems

这篇博客文章讲解 Bandit 方法如何通过建模不确定性并主动探索来解决推荐系统的反馈回路问题,尤其适用于物品集合快速变化(新闻、广告、推文)或流量较低的场景。文中简要讨论了 ε-greedy、UCB 和 Thompson Sampling 三种主要算法,并提及工业界实现。适合做推荐系统、关注探索与利用问题的人阅读。

博客发布 2022-04-17
eugeneyan.com

如何测量与缓解位置偏差

How to Measure and Mitigate Position Bias

这篇博客文章说明位置偏差:排位靠前的物品更容易被看到和点击,与相关性无关,例如 Google 搜索首位点击量约为第十位的 10 倍。文中还讨论了展示偏差、点击首个相关结果后忽略其余等原因,以及偏差通过历史数据自我强化的反馈回路,并给出测量与缓解方式的笔记。适合做推荐系统、关注排序与评估偏差的人阅读。

博客发布 2022-03-06
eugeneyan.com

数据科学项目快速启动

Data Science Project Quick-Start

这篇博客文章分享作者作为数据科学新人时踩过的坑与经验,讲如何从模糊问题走到可用原型。文中强调先理解项目意图和背景,举例说明要问清预期业务收益、现状问题以及为何现在要做,并以推荐引擎中“互动”指标(点击还是购买)如何决定训练标签来说明指标定义的影响。适合刚起步做数据科学项目的人阅读。

博客发布 10-20
Hamel Husain 博客

如何用决策模型做评估(Evals)

How To Use Decision Models for Evals

Hamel 博客的文章,讨论把 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef、OpenAI Decisions API 等决策模型用作 LLM 判官的廉价替代方案。文中指出默认 0.50 阈值常被直接使用而未针对任务调整,因而先演示阈值调优,再比较成本与性能,并讨论如何解读模型分数以及校准对置信度估计的作用;实验使用某公寓租赁代理的 100 条对话轨迹,任务是找出含错误的轨迹。

博客发布 2021-11-03
code.visualstudio.com

构建新版 GitHub Copilot 内联建议模型:第一部分

Building the new GitHub Copilot Inline Suggestions Model: Part One

这是 VS Code 官方博客系列的第一篇,介绍 GitHub Copilot 内联建议的三种形态:补全式幽灵文本、光标附近的下一处编辑建议和远距离编辑,此前各由专门的模型路径支持。文中提到过去 90 天内超过 610 亿次成功的模型请求,并说明团队已将三者统一到一个“3-in-1”模型。适合关注 Copilot 内联建议模型演进的人阅读。

博客发布 2021-11-03
code.visualstudio.com

构建新版 GitHub Copilot 内联建议模型:第二部分

Building the new GitHub Copilot Inline Suggestions Model: Part Two

这是 VS Code 官方博客系列的第二篇,讲述把补全式幽灵文本、光标附近的下一处编辑建议和较远位置的编辑统一到单个“3-in-1”模型的过程。文中说明此前分别由独立模型负责,并指出统一后一次请求可覆盖多种代码编辑行为,减少模型调用与服务复杂度。适合关注 Copilot 内联建议实现与编辑器 AI 设计的人阅读。

博客发布 06-29
Hamel Husain 博客

“难以评估”是一种产品缺陷信号

“It's Hard to Eval” Is a Product Smell

作者 Hamel Husain 基于三年做 AI 评估的经验,认为“我们的产品很难评估”这一常见说法本身反映了产品设计问题:用户难以验证的输出,用户往往同样难以验证,最坏情况下只能从头重做一遍。文章主张在设计评估之前,应先把产品做成易于验证的形式,并通过他参与顾问的三个产品案例,配以改动前后的设计草图来说明原则,最后讨论如何把这一模式应用到其他产品。文中第一个例子是 AI 数据代理,指出只输出最终答案会导致用户无法核对。适合负责 AI 产品设计与评估的人阅读。