# 解码与生成加速 学习推测解码、多词预测和结构化生成，适合优化模型响应速度的开发者。 - 所属：[部署与推理优化]() - 网站：[https://oplearnx.com/topics/decoding-acceleration]() ## 推荐学习顺序 1. [量化与快速推理]()（书籍 · 进阶）：这是 Manning Publications 出版的图书，作者为 Vivek Kalyanarangan，共 339 页，预计 2026 年 12 月 15 日出版，目前尚未出版。简介称该书介绍在不重新设计架构、不做任务特定压缩的情况下优化 AI 模型的量化技术，涵盖量化基础、PTQ 与 QAT 生产流程及压缩部署，并讨论 LLM 激活异常值、KV 缓存压力和 NF4、FP4 等低于 8 位格式的权衡。 2. [Eagle-4 发布：比 DFlash2 和 DSpark 更快]()（项目 · 深入）：GitHub 项目 EAGLE-4 的页面，定位为“适用于所有批大小和硬件的通用 drafter”，仓库提供论文、Qwen3.8-27B 的 EAGLE-4 草稿模型和文档，并有 PyPI 上的 eagle-harness。分享材料给出 Qwen 3.8 27B 上的加速对比数据：Vanilla 1×、MTP 2.22×、DSpark 2.57×、DFlash 2 2.80×、EAGLE-4 3.59×，并提到目前仅支持 Qwen3.8-27B，尚未进入 llama.cpp/vLLM。 3. [我构建了一个能在廉价（尚可）硬件上以近 400 token/s 运行 Qwen-Flash-Next 的引擎：老 R740 中的 3 块 V100 32GB；最初从 strata 分叉，但引擎核心全部针对老 Volta 架构构建]()（项目 · 深入）：这是一个 GitHub 项目（sFNX）的介绍，作者称在约 1,800 美元的二手 GPU 上（3 块约 600 美元的 Tesla V100-32GB，PCIe Gen3、无 NVLink）以 382 token/s 运行 Qwen3.8-Flash-Next 的代码编辑任务，同时服务 6 个各持完整 262,144 token 上下文的会话，并提供 OpenAI 聊天与响应、Anthropic 消息、工具与图像前端。README 说明其把每一层都切分到三块卡上以避免按层切分时的轮流等待，自行实现跨卡求和，并给出专家层、Gated DeltaNet 循环层和注意力 K/V 的切分方式。 4. [更快的模型真的更快吗？要测整个任务——MiniMax 的 Morgan Suo]()（博客 · 深入）：演讲以一项真实的行业研究任务为例——分析电路板供应商是否把 AI 需求转化为现金——测试 M3.1 Flash 模型内部的若干改动：长输入稀疏注意力、4 位 KV 缓存、低精度专家、投机解码、服务器负载与推理预算。讲者说明每项改动都节省算力，也可能悄悄牺牲准确率或等待时间，并给出评估模型切换的方法：核对来源与计算、统计一份可用报告的全部成本、让结果可复现。 5. [DeepInfer：DeepSeek 模型的高性能推理框架]()（项目 · 深入）：DeepSeek 在 GitHub 上开源的推理框架仓库，称其为支撑 DeepSeek 大规模生产服务的高性能框架，此次开源版本提供面向规模化服务的离线推理能力。README 列出支持的模型为 DeepSeek-V4.1-Flash，并列出了优化内核、注意力 DP/CP 与 MoE EP\+EPLB 并行、异步调度、批不变量推理、确定性采样、结构化输出等功能及配置细节。材料中还包含一条 Reddit 用户评论。 6. [面向 LLM 的 CUDA]()（书籍 · 深入）：这是 Manning Publications 出版的书，作者 Elliot Arledge，出版日期 2026-10-15，408 页，ISBN 9781633434899，主题词为数据科学与深度学习。简介称其讲解在 CUDA 生态中从编写第一个 kernel 到实现 Flash Attention 等高级 LLM 特性，包括用 Nsight Compute 做性能剖析与瓶颈定位，并针对最新 NVIDIA 硬件讲解 CUDA 基础。适合想从 GPU 编程层面优化大模型、需要实操 kernel 开发的 AI 工程师阅读。 7. [投机解码详解：如何让任意 LLM 推理快 3 倍]()（博客 · 进阶）：MachineLearningMastery 的文章，作者 Vinod Chugani，2026 年 10 月 23 日发布。内容解释标准自回归逐 token 生成受内存带宽瓶颈限制的原因、草稿—验证循环如何工作且保持目标模型输出分布不变、Medusa、Eagle、Prompt Lookup Decoding 等现代变体，以及在生产环境启用该技术的实际权衡。适合关注 LLM 推理性能优化的开发者阅读。 8. [Mercury 3：规模化扩散]()（博客 · 入门）：Inception 发布 Mercury 3 的官方博客，介绍其称为迄今能力最强的基于扩散（diffusion）的大语言模型。文中称该模型在多项基准上表现优于 GPT-6 Luna 和 Claude Haiku 5.5，在 NVIDIA GPU 上速度约 1,068 tokens/秒，快 4–8 倍，参数量比 Mercury 1 大 40 倍以上，上下文为 100 万 token，并给出输入/输出每百万 token 的定价及上线折扣。文中还提到早期接入伙伴将其用于语音与聊天客服、实时辅导、数据工程和网页导航。 9. [incoai/Qwen3.8-Flash-Next-DFlash2]()（项目 · 深入）：Hugging Face 仓库页面，内容为 Qwen/Qwen3.8-Flash-Next 的 DFlash 2 草稿模型，本身不是独立语言模型，需在推测解码服务器中为目标模型起草 token。DFlash 2 是块扩散式 drafter，一次预测一整块 token 并在每个位置保留最优候选，再由轻量选择器串成连贯路径；解码是无损的，贪心输出与目标模型完全一致。页面给出使用 SGLang 部署的快速开始步骤，需先应用仓库内附带的捕获补丁。附带说明中称并发为 1 时其速度约比 MTP 快 20%。 10. [修复 vLLM 中的工具调用准确性问题]()（博客 · 进阶）：Ubicloud 博客的一篇文章，标题为“Fixing Tool-Call Accuracy in vLLM”。提供的材料仅为博客页面正文的标题与文章列表，未包含文章具体内容，因此无法进一步概述其方法或结论。 11. [如何在 Strata 中为低量化版本的 Qwen 3.8 Flash Next 使用 Q8 ngram 并避开报错]()（帖子 · 进阶）：r/LocalLLaMA 社区帖子，介绍在 Strata 中通过 --ple-gguf 参数或 Docker 环境的 STRATA\_SET 变量旁加载更高精度的 Q8 ngram，以在声称不增加显存与内存占用、不牺牲预填充/解码速度的情况下提升输出质量；作者说明直接使用 Hugging Face 上的原始 ngram gguf 会报架构不匹配错误，需要把 general.architecture 键改为 strata-ple（可下载已修改好的 gguf，或用 gguf-editor-gui 修改），并声明自己尚未验证模型是否真的更聪明、速度与资源影响也未做充分测试。适合在本地用 Strata 跑量化模型、折腾 GGUF 元数据与 ngram 加速的人阅读。 12. [调优后的 Strata 配置：2000 PP、平均 tg 95–105]()（帖子 · 深入）：一篇 r/LocalLLaMA 社区帖子，作者在 RTX 4090 \+ 48 GB 内存、Ryzen 3900X、Windows、200k 上下文的环境下运行 IQ3\_S Qwen3.8-Flash-Next，对 Strata 0.43 的大量参数做了近似网格搜索。帖子称 decode 从 97 tok/s 提升到 142 tok/s（\+45%），列出最有效的几个参数（--adapt-async 1、--kv-resident 20480、STRATA\_ADAPT\_LAG=2）和最差的几个（--expert-cache 单位是 MiB、--ple-io ram、--no-prefill-borrow），并指出 Windows 无法用 cuda 固定内存。适合在单卡上折腾 Strata 推理引擎参数调优的人阅读。 13. [Qwen3.8-Flash-Next：Swift 1.5 与 Unsloth 在 Strix Halo 上的对比（Halogen、gufo、llama.cpp、UD-Q4\_K\_XL 与 IQ4\_XS）]()（帖子 · 深入）：这是 r/LocalLLaMA 的社区帖子，作者在 Asus ROG Flow Z13（128 GB、70 W）上对比 UkisAI 的 Qwen3.8-Flash-Next 微调版 Swift 1.5 与自己原有方案，涉及 Halogen、gufo、llama.cpp 三种引擎和多种量化格式，均启用 MTP。帖中记录了服务启动时间、32k prompt 下的 TTFT、预填充与解码速度、MTP 接受率、KLD，以及数学、LCB 和 11 项 Pi 代码任务的得分、耗时与 token 消耗，并说明结果仅来自单次运行。适合关注本地大模型推理性能、量化方案与编码智能体实测的人阅读。 14. [两天调优单块 Tesla P40：35B MoE、完整 262k 上下文，短上下文约 60 t/s、深至 100k 时约 30 t/s，且不使用低于 Q4 的量化]()（帖子 · 深入）：这是一篇 Reddit r/LocalLLaMA 社区帖子，作者记录在单块 24GB Tesla P40（PCIe x1、Windows、自改 llama.cpp）上运行 Ornith 1.5 35B-A3B 模型、保持 Q4\_0 权重与 q8\_0 KV 的调优过程。文中列出带来提升的做法（关闭 ECC、KV 用 q8\_0 而非 q4\_0、检查 MTP 头是否训练、为 flash-attention 的 KQ 部分使用 int8 dp4a、限制 MTP 预填充窗口）以及未奏效的尝试（f16 KV、核内反量化 V、官方 Q4\_K\_M），并给出 llama-bench 测试数据。适合在本机用单卡或旧款显卡跑大模型推理、关注量化与 llama.cpp 调优的人阅读。 15. [在 NVIDIA DGX Spark 上提升 MoE 推理性能的 3 种方法]()（博客 · 深入）：这是 NVIDIA 技术博客的一篇文章，以 1240 亿参数、每 token 激活 51 亿参数的 Ling-3.0-flash 混合专家模型为例，在 NVIDIA DGX Spark、batch size 为 1 的条件下评测三项优化：Humming MXFP4 MoE 后端、在线 FP8 LM head 量化、以及结合 NEXTN 的 MTP 投机解码。文中给出配置对比数据：基线每输出 token 耗时 27.71 ms、解码吞吐 36.09 tok/s，逐项叠加后分别提升 9.3%、21.7%，三项全开时为 9.72 ms、102.88 tok/s、相对基线提升 185.1%。文中还提到性能剖析显示解码受内存带宽限制，MoE 计算与输出层投影占主要执行时间。 16. [启用两个设置如何让我们在 ARC-AGI-3 基准上的得分增至三倍]()（博客 · 进阶）：OpenAI 于 2026 年 7 月 29 日发布的研究与论文类文章，讲述两个 API 设置如何通过保留推理内容和启用压缩（compaction），提升 GPT-5.6 在 ARC-AGI-3 基准上的表现、得分与效率。文中还讨论了智能体在记住自己已做之事时表现更好。 17. [斯坦福 CME295：Transformer 与大语言模型（2026 秋）]()（课程 · 进阶）：这是斯坦福 CME295 课程的 2026 年秋季教学大纲页，按日期列出了各次讲座主题并附幻灯片和视频链接。内容依次包括 Transformer（分词、词嵌入、word2vec/RNN/LSTM、注意力机制与架构）、大语言模型（模型家族、混合专家、MHA/MQA/GQA、RoPE 位置嵌入、上下文长度与采样策略）、LLM 训练（预训练、SFT、LoRA、RLHF/DPO、推理、同策略蒸馏）、基于强化学习的 LLM 训练（奖励设计、策略梯度、PPO、GRPO）、LLM 系统（分布式训练、KV 缓存、投机解码、Flash Attention），以及 AI 智能体（工具调用、MCP、记忆与检索、上下文压缩、编码智能体等）；10 月 23 日为期中考试。适合想了解 Transformer 与 LLM 技术栈课程结构的人阅读。 18. [MiniMax M2 技术报告笔记]()（博客 · 深入）：Sebastian Raschka 对 MiniMax M2 技术报告的笔记，涉及全注意力、细粒度 MoE 路由、智能体训练数据、速度奖励与自我进化等内容。文中给出架构要点：旗舰 M2 为 62 层 decoder-only Transformer，总参数 2299 亿、每 token 激活 98 亿，每个 MoE 层有 256 个细粒度专家、每 token 路由至其中 8 个并采用 sigmoid 门控，各层使用分组查询注意力（48 个查询头、8 个键值头），配备 QK-Norm 和部分 RoPE，上下文窗口为 196,608 token，预训练数据为 29.2 万亿 token。 19. [DiffusionGemma：文本生成速度提升 4 倍]()（博客 · 深入）：Google DeepMind 发布实验性开放模型 DiffusionGemma，采用文本扩散方式一次性生成整块文本，而非逐 token 顺序生成，据称在专用 GPU 上推理速度最高提升 4 倍。该模型为 26B MoE 结构，以 Apache 2.0 许可证发布，面向研究速度敏感、交互式本地工作流（如行内编辑、快速迭代）的研究者和开发者。 20. [用冻结模型的多 token 预测加速 Pixel 上的 Gemini Nano 模型]()（博客 · 深入）：Google 研究人员介绍一种把多 token 预测改造到已冻结的生产模型上的方法，用于加速端侧推理，规避单独草稿模型带来的低效。文章背景是手机端的能耗预算和内存限制，以及标准语言模型逐 token 自回归生成造成的瓶颈，目标是在不离设备的前提下更快实现通知摘要、文本校对等功能。 21. [Nemotron 3 Super 吞吐量笔记]()（博客 · 深入）：Sebastian Raschka 的博客文章，基于 NVIDIA Nemotron 3 Super 120B-A12B 的技术报告和模型配置，介绍这款开放权重模型的面向吞吐量的设计：120.6B 总参数、每轮前向 12.7B 激活参数，88 层中 40 层 Mamba-2、40 层 Latent MoE、8 层分组查询注意力，并说明 Mamba-2、Latent MoE 与多 token 预测分别如何降低不同推理成本。 22. [构建新版 GitHub Copilot 内联建议模型：第二部分]()（博客 · 深入）：这是 VS Code 官方博客系列的第二篇，讲述把补全式幽灵文本、光标附近的下一处编辑建议和较远位置的编辑统一到单个“3-in-1”模型的过程。文中说明此前分别由独立模型负责，并指出统一后一次请求可覆盖多种代码编辑行为，减少模型调用与服务复杂度。适合关注 Copilot 内联建议实现与编辑器 AI 设计的人阅读。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）