vLLM Production Stack：面向生产环境的 vLLM 部署参考栈（多语言教程，含中文）

vllm-project/vllm

这是 vLLM 项目的 GitHub 仓库，一个面向大语言模型的高吞吐、高内存效率推理与服务引擎，标语为“Easy, fast, and cheap LLM serving for everyone”。仓库话题标签涵盖 CUDA、AMD、TPU、MoE、PyTorch、OpenAI 以及 Llama、Qwen、DeepSeek 等模型，README 提供文档、博客、论文、Twitter/X、用户论坛和开发者 Slack 入口及官方网站 vllm.ai。

解锁连续批处理中的异步性

Unlocking asynchronicity in continuous batching

Hugging Face 博客于 2026 年 5 月 14 日发布的文章，作者为 Rémi Ouazan Reboul、Pedro Cuenca 和 Aritra Roy Gosthipaty，是高效 LLM 推理系列的第二篇。文章说明如何分离 CPU 与 GPU 工作负载以大幅提升推理性能：默认的同步连续批处理会导致 CPU 与 GPU 相互等待，停顿可能占近四分之一运行时间，因此采用异步批处理让 GPU 持续计算。文中提及 KV 缓存、FlashAttention、注意力掩码等概念，并以 H200 在 Inference Endpoints 上的价格为例说明成本考量。

现代大语言模型中注意力变体的可视化指南

A Visual Guide to Attention Variants in Modern LLMs

文章以图解方式梳理现代 LLM 中的注意力变体，涵盖 MHA、GQA、MLA、稀疏注意力和混合架构等。作者说明原计划写 DeepSeek V4，因该模型尚未发布而转向整理过去几年介绍过的 LLM 架构，形成含 45 个条目的 LLM 架构画廊并配有视觉模型卡，另提供海报版本。适合想系统了解各类注意力结构的读者。

如何真正做 Token 优化并省下数百万——Alvin Pane（OutRival）

How to Actually Tokenmaxx and Save Millions — Alvin Pane, OutRival

一个会议演讲视频。演讲者从“更便宜的候选模型与生产模型在 18% 的样例上不一致，是否直接拒绝”这一问题切入，指出先用现有模型重复运行可得到约 7% 的自我不一致率，因此简单的模型间一致率不足以衡量质量。他以名为 HarborBite 的合成示例（作为大型指令提示词的代理，并说明并非真实节省百万美元的证据）展示降低成本的流程：先做可观测性（记录提示词版本、模型选择、token、延迟、成本），再用前缀缓存、DSPy 和 GEPA 搜索更短的指令，示例提示词缩减 51% 但仍需质量测试。还涉及影子评估、人工复核分歧、净增益的配对置信区间作为发布标准，以及对关键客户类别单独检查。

推理如何跟上我们对 token 的无穷需求——Cerebras 与 Gimlet Labs

How Inference Keeps Up with Our Insatiable Need for Tokens — Cerebras & Gimlet Labs

Cerebras 的 Daniel Kim 与 Gimlet Labs 联合创始人 Michelle 讲解推理为何持续变快变便宜。Daniel 讲运行时层面：解码为何受内存限制、把模型拆分到多块 GPU、连续批处理、KV cache、分页注意力、提示缓存和分块预填充；Michelle 讲系统层面：预填充/解码解耦、投机解码、注意力/FFN 解耦、Gimlet 的多芯片云，以及用 Agent 生成优化内核。视频以 Google 月 token 量从 480 万亿增至 3.2 千万亿为背景展开。

从头理解并用代码实现 LLM 中的 KV 缓存

Understanding and Coding the KV Cache in LLMs from Scratch

Sebastian Raschka 于 2025 年 6 月 17 日发布的技术教程，讲解 LLM 推理中 KV 缓存的工作原理，并给出一个从零实现、便于阅读的代码示例。文中说明 KV 缓存存储推理阶段可复用的 key 与 value 中间计算结果，可显著加快文本生成；代价是增加代码复杂度与内存需求，且不能用于训练。作者提到该主题未包含在其《Building a Large Language Model From Scratch》一书中。