投机解码值得吗？在 NVIDIA Blackwell 上对 vLLM 做性能剖析 — Akamai

这是 Akamai 开发者布道师 Sheilah Kirui 的演讲录像，讲解投机解码（speculative decoding）的原理与适用条件。内容包括推理的 prefill 与 decode 阶段、小模型提议 token 而目标模型在一次前向中验证的机制、托管第二个模型及其 KV cache 的内存成本、草稿模型的选取标准，以及在单块 NVIDIA Blackwell GPU 上用 vLLM 做的并排演示：结构化输出在高接受率下快 1.6 倍，创意写作的接受率则低得多，并说明长上下文与高并发负载收益较少的原因。适合正在用 vLLM 部署推理、考虑是否开启投机解码的工程人员观看。