OpenAI··4 个月前
OpenAI 与 Broadcom 发布面向 LLM 优化的推理芯片
OpenAI and Broadcom unveil LLM-optimized inference chip
这是 OpenAI 与 Broadcom（NASDAQ: AVGO）的发布公告，介绍 OpenAI 首款“智能处理器”Jalapeño，一款围绕 LLM 推理架构设计的定制加速器。文中称早期测试显示其每瓦性能显著优于当前最先进水平，从设计到量产历时九个月，并将与数据中心伙伴按吉瓦级规模多代部署。
- 分级
- 值得看
- 收录时间
- 2026-10-28
推荐阅读
英伟达机密计算扩展，使前沿模型构建者可在全球基础设施上安全扩展
NVIDIA Confidential Computing Expands, Enabling Frontier Model Builders to Securely Scale Across Global Infrastructure
这是 NVIDIA 博客文章，介绍 NVIDIA 机密计算的扩展。文中提到 NVIDIA OpenShell 参考架构，以及新增的 Confidential Bare Metal 部署选项，使前沿模型构建者可在第三方专用基础设施上运行敏感工作负载，同时保留对模型和数据的控制。文章还介绍新的平台安全控制，用于保护传输中的数据、度量平台完整性并实施硬件级访问限制；指出机密计算现提供裸金属、Kubernetes 容器和虚拟机三种部署选项。适合关注模型训练与部署基础设施安全的企业与开发者读者。
我为一个面向大规模 GPU 工作负载的 PyTorch 优化器做了实现——希望获得反馈 [P]
I built a PyTorch optimizer for large GPU workloads — looking for feedback[P]
这是 r/MachineLearning 的一篇社区帖子（[P] 表示项目分享），作者介绍自己开发的 PyTorch 优化器 ApexW，目标是降低优化器状态显存占用并加快较大 GPU 工作负载上的优化器更新步骤，做法是紧凑的优化器状态加一条基于 Triton 的执行路径。作者称在只有几个大张量时的优化器单项基准中，Triton 加紧凑状态路径比 PyTorch 的 fused AdamW 快约 1.5 倍，优化器状态显存约减半；同时说明自动执行模式尚未稳定取得同样加速，含大量小张量的负载明显慢于 PyTorch fused 优化器（例如 1.28 亿参数分散在众多小张量时，PyTorch 原生为 16.1 ms/步），并强调这些数字来自优化器单项测试而非完整模型训练，希望有人在实现与基准测试上把关。适合从事 PyTorch 训练优化、关注优化器状态显存与 Triton 内核实现的人阅读。
剖析 TorchNeuron（第一部分）：在 AWS Trainium 上进行系统级性能剖析
Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.
这是关于 AWS Trainium 的系列文章第一篇，介绍如何系统地分析推理性能并找出时间开销所在。文章使用 Trainium 专用的开源 PyTorch 后端 TorchNeuron，讲解如何配置 torch.profiler 并抓取干净的 trace、阅读 key_averages() 表格以识别消耗 Neuron 设备时间的算子、以及通过 Neuron Explorer 追踪单个算子从框架调度到 NeuronCore 硬件执行的过程。文中说明从零讲起，假定读者没有性能剖析经验。
搭建 GPU kernel 开发环境的实践笔记：CUDA 13 的显卡截止、异步计时陷阱、profiler 计数器权限 [P]
Practical notes on setting up a GPU kernel-dev environment: CUDA 13's GPU cutoff, async timing pitfalls, profiler counter permissions [P]
一篇 r/MachineLearning 社区帖子，作者在准备自己的 GPU kernel 工程系列第一节环境配置时，整理了若干耗时且不易集中查到的要点。内容包括用 compute_cap 判断显卡架构、CUDA 13 已不再支持 Maxwell/Pascal/Volta、GTX 16 系无张量核心、FP8 需 Ada 或 Hopper；还说明驱动、工具链与 PyTorch 自带 CUDA 运行时是三件不同的事，以及 WSL 2 中的安装方式，并提到 GPU 启动异步导致朴素计时测到的是排队时间。适合刚开始做 CUDA kernel 开发、正在配置环境的人阅读。
自主边缘——嵌入工业应用中的智能
The Autonomous Edge – Intelligence Embedded in Industrial Applications
这是一本由 Taylor & Francis 出版的开放获取图书，作者为 Vermesan, Ovidiu 与 Pijlman, Fetze，出版信息只给到 2026 年。书中汇集多学科研究者与实践者的文章，讨论人工智能、边缘计算、自主系统与工业应用交汇处的技术变化，包括智能从云端向车辆、机器人、制造系统、智慧城市与嵌入式设备迁移，以及在延迟、能耗、隐私、安全与实时性约束下的边缘 AI 设计，主题词涉及软件定义汽车与联邦学习。
在 NVIDIA DGX Spark 上提升 MoE 推理性能的 3 种方法
3 Ways to Boost MoE Inference on NVIDIA DGX Spark
这是 NVIDIA 技术博客的一篇文章，以 1240 亿参数、每 token 激活 51 亿参数的 Ling-3.0-flash 混合专家模型为例，在 NVIDIA DGX Spark、batch size 为 1 的条件下评测三项优化：Humming MXFP4 MoE 后端、在线 FP8 LM head 量化、以及结合 NEXTN 的 MTP 投机解码。文中给出配置对比数据：基线每输出 token 耗时 27.71 ms、解码吞吐 36.09 tok/s，逐项叠加后分别提升 9.3%、21.7%，三项全开时为 9.72 ms、102.88 tok/s、相对基线提升 185.1%。文中还提到性能剖析显示解码受内存带宽限制，MoE 计算与输出层投影占主要执行时间。