学习推测解码、多词预测和结构化生成，适合优化模型响应速度的开发者。
22 条精选 · 入门 1 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Is a Faster Model Actually Faster? Test the Whole Job — Morgan Suo, MiniMax
演讲以一项真实的行业研究任务为例——分析电路板供应商是否把 AI 需求转化为现金——测试 M3.1 Flash 模型内部的若干改动：长输入稀疏注意力、4 位 KV 缓存、低精度专家、投机解码、服务器负载与推理预算。讲者说明每项改动都节省算力，也可能悄悄牺牲准确率或等待时间，并给出评估模型切换的方法：核对来源与计算、统计一份可用报告的全部成本、让结果可复现。
Speculative Decoding Explained: How to Get 3× Faster Inference from Any LLM
MachineLearningMastery 的文章，作者 Vinod Chugani，2026 年 10 月 23 日发布。内容解释标准自回归逐 token 生成受内存带宽瓶颈限制的原因、草稿—验证循环如何工作且保持目标模型输出分布不变、Medusa、Eagle、Prompt Lookup Decoding 等现代变体，以及在生产环境启用该技术的实际权衡。适合关注 LLM 推理性能优化的开发者阅读。
Mercury 3: Diffusion at scale
Inception 发布 Mercury 3 的官方博客，介绍其称为迄今能力最强的基于扩散（diffusion）的大语言模型。文中称该模型在多项基准上表现优于 GPT-6 Luna 和 Claude Haiku 5.5，在 NVIDIA GPU 上速度约 1,068 tokens/秒，快 4–8 倍，参数量比 Mercury 1 大 40 倍以上，上下文为 100 万 token，并给出输入/输出每百万 token 的定价及上线折扣。文中还提到早期接入伙伴将其用于语音与聊天客服、实时辅导、数据工程和网页导航。
Fixing Tool-Call Accuracy in vLLM
Ubicloud 博客的一篇文章，标题为“Fixing Tool-Call Accuracy in vLLM”。提供的材料仅为博客页面正文的标题与文章列表，未包含文章具体内容，因此无法进一步概述其方法或结论。
3 Ways to Boost MoE Inference on NVIDIA DGX Spark
这是 NVIDIA 技术博客的一篇文章，以 1240 亿参数、每 token 激活 51 亿参数的 Ling-3.0-flash 混合专家模型为例，在 NVIDIA DGX Spark、batch size 为 1 的条件下评测三项优化：Humming MXFP4 MoE 后端、在线 FP8 LM head 量化、以及结合 NEXTN 的 MTP 投机解码。文中给出配置对比数据：基线每输出 token 耗时 27.71 ms、解码吞吐 36.09 tok/s，逐项叠加后分别提升 9.3%、21.7%，三项全开时为 9.72 ms、102.88 tok/s、相对基线提升 185.1%。文中还提到性能剖析显示解码受内存带宽限制，MoE 计算与输出层投影占主要执行时间。
How enabling two settings tripled our scores on the ARC-AGI-3 benchmark
OpenAI 于 2026 年 7 月 29 日发布的研究与论文类文章，讲述两个 API 设置如何通过保留推理内容和启用压缩（compaction），提升 GPT-5.6 在 ARC-AGI-3 基准上的表现、得分与效率。文中还讨论了智能体在记住自己已做之事时表现更好。
MiniMax M2 Technical Report Notes
Sebastian Raschka 对 MiniMax M2 技术报告的笔记，涉及全注意力、细粒度 MoE 路由、智能体训练数据、速度奖励与自我进化等内容。文中给出架构要点：旗舰 M2 为 62 层 decoder-only Transformer，总参数 2299 亿、每 token 激活 98 亿，每个 MoE 层有 256 个细粒度专家、每 token 路由至其中 8 个并采用 sigmoid 门控，各层使用分组查询注意力（48 个查询头、8 个键值头），配备 QK-Norm 和部分 RoPE，上下文窗口为 196,608 token，预训练数据为 29.2 万亿 token。
DiffusionGemma: 4x faster text generation
Google DeepMind 发布实验性开放模型 DiffusionGemma，采用文本扩散方式一次性生成整块文本，而非逐 token 顺序生成，据称在专用 GPU 上推理速度最高提升 4 倍。该模型为 26B MoE 结构，以 Apache 2.0 许可证发布，面向研究速度敏感、交互式本地工作流（如行内编辑、快速迭代）的研究者和开发者。
Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction
Google 研究人员介绍一种把多 token 预测改造到已冻结的生产模型上的方法，用于加速端侧推理，规避单独草稿模型带来的低效。文章背景是手机端的能耗预算和内存限制，以及标准语言模型逐 token 自回归生成造成的瓶颈，目标是在不离设备的前提下更快实现通知摘要、文本校对等功能。
Nemotron 3 Super Throughput Notes
Sebastian Raschka 的博客文章，基于 NVIDIA Nemotron 3 Super 120B-A12B 的技术报告和模型配置，介绍这款开放权重模型的面向吞吐量的设计：120.6B 总参数、每轮前向 12.7B 激活参数，88 层中 40 层 Mamba-2、40 层 Latent MoE、8 层分组查询注意力，并说明 Mamba-2、Latent MoE 与多 token 预测分别如何降低不同推理成本。
Building the new GitHub Copilot Inline Suggestions Model: Part Two
这是 VS Code 官方博客系列的第二篇，讲述把补全式幽灵文本、光标附近的下一处编辑建议和较远位置的编辑统一到单个“3-in-1”模型的过程。文中说明此前分别由独立模型负责，并指出统一后一次请求可覆盖多种代码编辑行为，减少模型调用与服务复杂度。适合关注 Copilot 内联建议实现与编辑器 AI 设计的人阅读。