Hugging Face··5 个月前
解锁连续批处理中的异步性
Unlocking asynchronicity in continuous batching
Hugging Face 博客于 2026 年 5 月 14 日发布的文章，作者为 Rémi Ouazan Reboul、Pedro Cuenca 和 Aritra Roy Gosthipaty，是高效 LLM 推理系列的第二篇。文章说明如何分离 CPU 与 GPU 工作负载以大幅提升推理性能：默认的同步连续批处理会导致 CPU 与 GPU 相互等待，停顿可能占近四分之一运行时间，因此采用异步批处理让 GPU 持续计算。文中提及 KV 缓存、FlashAttention、注意力掩码等概念，并以 H200 在 Inference Endpoints 上的价格为例说明成本考量。
- 分级
- 值得看
- 收录时间
- 2026-10-28
推荐阅读
PyTorch 中的 Channels Last 内存格式
Channels Last Memory Format in PyTorch
PyTorch 官方中级教程，介绍 channels last 内存格式是什么，以及如何用它提升某些算子的性能。正文说明该格式在保留 NCHW 维度顺序的前提下改变内存排列，使通道成为最密集的维度，并利用现有 strides 结构实现，例如 10x3x16x16 批次在该格式下 strides 为 (768, 1, 48, 3)；该格式仅针对 4D NCHW 张量实现，页面还给出连续格式与 channels last 格式之间的张量转换 API。前置条件为 PyTorch v1.5.0 和支持 CUDA 的 GPU。
如何真正做 Token 优化并省下数百万——Alvin Pane（OutRival）
How to Actually Tokenmaxx and Save Millions — Alvin Pane, OutRival
一个会议演讲视频。演讲者从“更便宜的候选模型与生产模型在 18% 的样例上不一致，是否直接拒绝”这一问题切入，指出先用现有模型重复运行可得到约 7% 的自我不一致率，因此简单的模型间一致率不足以衡量质量。他以名为 HarborBite 的合成示例（作为大型指令提示词的代理，并说明并非真实节省百万美元的证据）展示降低成本的流程：先做可观测性（记录提示词版本、模型选择、token、延迟、成本），再用前缀缓存、DSPy 和 GEPA 搜索更短的指令，示例提示词缩减 51% 但仍需质量测试。还涉及影子评估、人工复核分歧、净增益的配对置信区间作为发布标准，以及对关键客户类别单独检查。
用一个 Hub Bucket 传输万亿参数：TRL 中的增量权重同步
Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
文章介绍 TRL 中一项名为 Delta Weight Sync 的改动：异步强化学习中训练器每步需向推理引擎发送整个模型，而相邻两个优化步之间约 99% 的 bf16 权重完全相同，因此只把变化元素编码为稀疏 safetensors 文件，上传到 Hugging Face Bucket 并让 vLLM 拉取。文中称在 Qwen3-0.6B 上每步传输量从 1.2 GB 降至 20–35 MB，并演示了训练器、vLLM 与 Wordle 环境分处不同位置的分离式训练。
更快的模型真的更快吗？要测整个任务——MiniMax 的 Morgan Suo
Is a Faster Model Actually Faster? Test the Whole Job — Morgan Suo, MiniMax
演讲以一项真实的行业研究任务为例——分析电路板供应商是否把 AI 需求转化为现金——测试 M3.1 Flash 模型内部的若干改动：长输入稀疏注意力、4 位 KV 缓存、低精度专家、投机解码、服务器负载与推理预算。讲者说明每项改动都节省算力，也可能悄悄牺牲准确率或等待时间，并给出评估模型切换的方法：核对来源与计算、统计一份可用报告的全部成本、让结果可复现。
用 Green Contexts 控制 GPU 如何共享工作
Control How Your GPU Shares Work with Green Contexts
NVIDIA 技术博客的一篇文章，介绍 CUDA 13.1 中的 green contexts：允许应用在单个进程内显式划分 SM 和工作队列等 GPU 执行资源。文中举例说，为 green context 分配专用 SM 后，延迟敏感的 kernel 无需等待批量任务排空，在拥有 148 个 SM 的 Blackwell GPU 上可将关键 kernel 延迟从 0.140 ms 降至 0.007 ms。编程模型从 green context 句柄创建 stream，而不再依赖隐式的线程本地设备状态，同时保留既有基于 stream 的 CUDA 工作流；green contexts 为可选、可叠加特性，现有应用可按需逐步采用。
我们是在通过记住更多来解决 LLM 记忆问题，而真正的问题是知道该忘掉什么吗？[D]
Are we solving LLM memory by remembering more, when the real problem is knowing what to forget?[D]
r/MachineLearning 的一篇讨论帖（[D] 表示讨论类）。作者指出长上下文模型可处理数十万乃至上百万 token，但质疑业界过于关注召回而忽视信息更新：例如编码智能体读到的 API 超时为 30 秒，后来文档改为 5 秒，两个版本都还在上下文中，智能体却继续用 30 秒——它没有忘掉任何东西，只是没有更新已知内容。帖中比较了 Transformer 与 RAG 中新旧信息共存需在读取时解决冲突、简单线性注意力中关联累积于共享状态、DeltaNet 基于预测误差的更新、BDH 的赫布式突触可塑性等做法，并提出评估方式的问题：与其只测能否找到信息，不如测模型在收到更新的矛盾证据时是否会改变答案同时仍记得旧事实。适合关注 LLM 记忆架构与长上下文评测方法的研究者阅读。