学习模型服务框架、并行计算与底层优化，适合维护训练和推理基础设施的人员。
44 条精选 · 入门 2 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
GTC Berlin 2026: Live Updates From NVIDIA CEO Jensen Huang’s Keynote
这是 NVIDIA 官方博客对 GTC 柏林 2026 主题演讲的实时报道。文章介绍大会在柏林举行、为期三天、包含 100 多场关于智能体 AI、机器人、物理 AI、开放模型与加速计算的会议，并记录黄仁勋开场提到多家欧洲企业与 NVIDIA 的 AI 合作、公司对欧洲技术生态近 100 亿美元的投入，以及“AI 五层蛋糕”的表述。
Building Blocks for Foundation Model Training and Inference on AWS
Hugging Face 上由亚马逊作者 Keita Watanabe、Pavel Belevich、Aman Shanbhag 撰写、2026 年 5 月 11 日发布的企业类文章，讨论在 AWS 上训练和推理基础模型的构建模块。文章从 Kaplan 等人 2020 年关于缩放定律的研究出发，引用英伟达“从一个到三个缩放定律”的框架，说明除预训练外，后训练（如监督微调和强化学习方法）与测试时计算也在推动性能提升，并据此讨论基础模型生命周期。
Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO
Latent Space 的访谈节目，主持人与 Modal CEO Erik Bernhardsson 讨论公司在 5 亿美元 C 轮后完成 7.5 亿美元 D 轮、估值 160 亿美元、年化收入突破 10 亿美元并创建近 30 亿个沙箱的情况。核心话题是算力经济学：传统容量合同把 GPU 按固定数量、固定时长购买，在时间—容量图上呈矩形，而真实工作负载会增长、突增、回落；Erik 讲述 Modal 如何通过聚合数千客户的需求来做“时长变换”。含 YouTube 完整对话链接，涉及服务器无服务器化 AI 基础设施的开发者与商业读者可关注。
The Programmable Data Center — Evan Conrad, SF Compute
这是 Latent Space 在 AIE NYC 新设的 Compute Trading 分论坛期间录制的对谈，嘉宾为 SF Compute 的 Evan Conrad。文章以软件定义网络对思科、VMware 的影响作类比，讨论 GPU 计算的同类变化：SF Compute 让用户买卖当下和未来的 GPU 小时，并从网络到内存进行程序化控制。对谈还涉及物理交付 GPU 合约需要什么条件、计算市场要变得流动需要满足哪些前提，以及公司从转租集群扩展到承担云运营商职能的过程。
Same GPU, 50% More Output: Why the Operator Matters — Oliver Kennon, SemiAnalysis
演讲把算力视为大宗商品市场，指出购买 GPU 只是获得潜力，实际可用产出取决于运营方：在同样的 B200 芯片上，仅服务栈一项就能带来约 50% 的产出差异。内容还包括集群安全如何影响“智能”是否有用、SemiAnalysis 的 ClusterMAX 如何给运营方评级、租用价格与生产成本的区别、成本位置取决于竞争对手，以及构建可比算力评级与算力期货所需的条件。
Does Your Model Run on AWS Trainium? Look It Up
文章介绍一个 torch-neuronx 模型支持情况 Space，用于查询 Hub 上热门模型能否在 AWS Trainium 上运行。该 Space 的 Selected 视图展示按下载量和趋势分挑选的模型，每行给出结果、模型分片占用的 Trainium 核心数、运行实际耗时（含编译）和峰值设备内存；Trending 和 Downloads 视图按 Hub 自身排名逐任务列出结果，并对故意未测试的模型说明原因，还可选择 neuronx-cc 和 Transformers 的版本。这是继此前介绍 TorchNeuron 的文章之后的更新。
TorchNeuron: running HF models on AWS Trainium is easier than ever
这是 Hugging Face 博客的一篇文章，介绍为 AWS Trainium 提供 PyTorch 原生后端的 TorchNeuron 插件，支持 eager 模式、torch.compile 以及 FSDP、TP 等原生分布式 API。文章说明 Transformers、Diffusers 和 Kernels 已原生支持该后端，此前 HF 在 Trainium 上依赖基于 PyTorch XLA 的 optimum-neuron；TorchNeuron 自 2026 年 10 月 20 日起进入公开测试，可通过 pip 安装。
Hugging Face ❤️ TorchTPU: TPUs, Natively
博客文章，介绍 TorchTPU 这一原生 PyTorch 后端，使 TPU 成为 PyTorch 中的普通设备；文中称 Transformers、Diffusers 和 Kernels 可在 TPU 上原生运行，从 Hub 选择模型后发送到 "tpu" 即可。文章还简介了 TPU 作为 Google 自研 AI 加速器的情况与可用规模，并对比了此前需经 torch_xla 的旧方式及其限制。面向希望在 TPU 上运行 PyTorch 模型的用户。
MPS in PyTorch 2.15
Hugging Face PyTorch 团队撰写的博客文章，介绍 PyTorch 2.15 中 Apple MPS 后端的更新，包括 MPS 支持 FP8、语言模型解码在线性层与 softmax 上获得更快路径、以及针对音频、视频和训练工作负载中新 Metal 内核。文中说明该团队以 Hugging Face Hub 上的真实模型排查 MPS 不足并向上游修复，并提到 MoE 模型解码速度较 2.14 提升 5–6.5 倍。适合在 Mac 上运行或训练 PyTorch 模型的读者。
OpenAI and Broadcom unveil LLM-optimized inference chip
这是 OpenAI 与 Broadcom（NASDAQ: AVGO）的发布公告，介绍 OpenAI 首款“智能处理器”Jalapeño，一款围绕 LLM 推理架构设计的定制加速器。文中称早期测试显示其每瓦性能显著优于当前最先进水平，从设计到量产历时九个月，并将与数据中心伙伴按吉瓦级规模多代部署。
NVIDIA Confidential Computing Expands, Enabling Frontier Model Builders to Securely Scale Across Global Infrastructure
这是 NVIDIA 博客文章，介绍 NVIDIA 机密计算的扩展。文中提到 NVIDIA OpenShell 参考架构，以及新增的 Confidential Bare Metal 部署选项，使前沿模型构建者可在第三方专用基础设施上运行敏感工作负载，同时保留对模型和数据的控制。文章还介绍新的平台安全控制，用于保护传输中的数据、度量平台完整性并实施硬件级访问限制；指出机密计算现提供裸金属、Kubernetes 容器和虚拟机三种部署选项。适合关注模型训练与部署基础设施安全的企业与开发者读者。
3 Ways to Boost MoE Inference on NVIDIA DGX Spark
这是 NVIDIA 技术博客的一篇文章，以 1240 亿参数、每 token 激活 51 亿参数的 Ling-3.0-flash 混合专家模型为例，在 NVIDIA DGX Spark、batch size 为 1 的条件下评测三项优化：Humming MXFP4 MoE 后端、在线 FP8 LM head 量化、以及结合 NEXTN 的 MTP 投机解码。文中给出配置对比数据：基线每输出 token 耗时 27.71 ms、解码吞吐 36.09 tok/s，逐项叠加后分别提升 9.3%、21.7%，三项全开时为 9.72 ms、102.88 tok/s、相对基线提升 185.1%。文中还提到性能剖析显示解码受内存带宽限制，MoE 计算与输出层投影占主要执行时间。
Cross-request KV cache exposure in the GLM-5.3 Workers AI model (155 responses)
这是 Cloudflare 博客与推理引擎 SGLang 协同披露的一篇安全事件报告。文章称 2026 年 8 月 27 日至 9 月 9 日期间，使用 GLM-5.3 Workers AI 模型的少数客户收到了包含其他客户此前请求数据的响应，共涉及 155 条响应，且均为超过 681,280 token 的长提示。文章说明问题已修复并于 9 月 9 日恢复该模型，未发现故意利用的证据，同时介绍了缺陷原因、响应时间线及对生产环境 SGLang 部署的加固措施。
Integrating TorchTPU into TorchTitan and Optimizing Models for TPU
Google 开发者博客 2026 年 10 月 20 日的文章，作者包括 Aleksey Vlasenko、Rob Torres 以及来自 Meta 的 Will Constable。内容讲 TorchTPU 在 PyTorch 中集成原生 torch.device("tpu") 后端，使开发者无需改用 JAX 即可在 Google Cloud TPU 上训练大规模模型；TorchTitan 的 TPU 分支提供 SimpleFSDP、Graph Trainer 和自定义 Pallas 内核等生产级扩展原语，在稠密与 MoE 架构上取得较高模型算力利用率，并提供优化手册、配方和 Hugging Face 建模后端。适合在 TPU 上进行大模型训练的工程与研究人员阅读。
Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)
OpenAI 工程博客系列第二部分，作者为 Jon Lee、Hrachya Hakobyan 和 Chaomin Yu，讲述其应用存储平台 Habitat 如何针对 Azure Cosmos DB 做优化以应对用户规模的快速增长，并实现 ChatGPT 读取速度提升 12 倍。内容包括可靠的多租户机制与全局缓存等主题。工程与基础设施方向的读者可参考。
Memory-Enforced GPU Sharing in Kubernetes with NVIDIA CUDA 13.4
NVIDIA 技术博客，作者 Ekin Karabulut、David Lifshitz、Hagay Sharon，2026 年 10 月 27 日发布。文章介绍挂在 KAI Scheduler 组织下的开源 GPU Fractioning Operator，它与 NVIDIA GPU Operator 配合在每台 GPU 节点上配置并监管 MPS，按工作负载施加显存上限与计算模式，并按 GPU 切片而非整卡计量使用量；CUDA 13.4 引入对应用透明的显存边界强制，支持精确显存额、保证下限加可突发上限、时间切片与 SM 共享两种计算模式，KAI Scheduler v0.18.0 通过 NvFractions 模式写入 Pod 注解来落实这些设置。
Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
文章介绍 TRL 中一项名为 Delta Weight Sync 的改动：异步强化学习中训练器每步需向推理引擎发送整个模型，而相邻两个优化步之间约 99% 的 bf16 权重完全相同，因此只把变化元素编码为稀疏 safetensors 文件，上传到 Hugging Face Bucket 并让 vLLM 拉取。文中称在 Qwen3-0.6B 上每步传输量从 1.2 GB 降至 20–35 MB，并演示了训练器、vLLM 与 Wordle 环境分处不同位置的分离式训练。
Control How Your GPU Shares Work with Green Contexts
NVIDIA 技术博客的一篇文章，介绍 CUDA 13.1 中的 green contexts：允许应用在单个进程内显式划分 SM 和工作队列等 GPU 执行资源。文中举例说，为 green context 分配专用 SM 后，延迟敏感的 kernel 无需等待批量任务排空，在拥有 148 个 SM 的 Blackwell GPU 上可将关键 kernel 延迟从 0.140 ms 降至 0.007 ms。编程模型从 green context 句柄创建 stream，而不再依赖隐式的线程本地设备状态，同时保留既有基于 stream 的 CUDA 工作流；green contexts 为可选、可叠加特性，现有应用可按需逐步采用。
Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core
NVIDIA 技术博客的一篇文章，介绍 Megatron-LM PR #7262 提出的工作流：记录各 rank 有序的张量指纹，用于定位并修复大规模预训练中的非确定性。文中说明按位确定性可支持故障重放、loss 尖峰调试、系统变更验证以及中断的万亿参数训练恢复；在三项 Nemotron 工作负载上优化后，在 2,432 块 GPU 上把确定性开销降至约 2%，并在 800 步内保持按位确定性。还提到通过为 grouped-GEMM 写入者分配私有输出槽位、采用固定归约顺序等内核级改动，在保持并行的同时恢复确定性结果；Megatron Core 通过配方验证、内核测试和跨并行配置（含 FP8、FP4）的模块验证来防止回退。