学习推测解码、多词预测和结构化生成，适合优化模型响应速度的开发者。
22 条精选 · 入门 1 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Eagle-4 Released: Faster than DFlash2 & DSpark
GitHub 项目 EAGLE-4 的页面，定位为“适用于所有批大小和硬件的通用 drafter”，仓库提供论文、Qwen3.8-27B 的 EAGLE-4 草稿模型和文档，并有 PyPI 上的 eagle-harness。分享材料给出 Qwen 3.8 27B 上的加速对比数据：Vanilla 1×、MTP 2.22×、DSpark 2.57×、DFlash 2 2.80×、EAGLE-4 3.59×，并提到目前仅支持 Qwen3.8-27B，尚未进入 llama.cpp/vLLM。
I built an engine that runs Qwen-Flash-Next at nearly 400t/s on cheap(ish) hardware. 3x V100 32GB in an old R740. Originally forked from strata but the engine guts all built for the old Volta generation.
这是一个 GitHub 项目（sFNX）的介绍，作者称在约 1,800 美元的二手 GPU 上（3 块约 600 美元的 Tesla V100-32GB，PCIe Gen3、无 NVLink）以 382 token/s 运行 Qwen3.8-Flash-Next 的代码编辑任务，同时服务 6 个各持完整 262,144 token 上下文的会话，并提供 OpenAI 聊天与响应、Anthropic 消息、工具与图像前端。README 说明其把每一层都切分到三块卡上以避免按层切分时的轮流等待，自行实现跨卡求和，并给出专家层、Gated DeltaNet 循环层和注意力 K/V 的切分方式。
DeepInfer: High-performance inference framework for DeepSeek models
DeepSeek 在 GitHub 上开源的推理框架仓库，称其为支撑 DeepSeek 大规模生产服务的高性能框架，此次开源版本提供面向规模化服务的离线推理能力。README 列出支持的模型为 DeepSeek-V4.1-Flash，并列出了优化内核、注意力 DP/CP 与 MoE EP+EPLB 并行、异步调度、批不变量推理、确定性采样、结构化输出等功能及配置细节。材料中还包含一条 Reddit 用户评论。
Hugging Face 仓库页面，内容为 Qwen/Qwen3.8-Flash-Next 的 DFlash 2 草稿模型，本身不是独立语言模型，需在推测解码服务器中为目标模型起草 token。DFlash 2 是块扩散式 drafter，一次预测一整块 token 并在每个位置保留最优候选，再由轻量选择器串成连贯路径；解码是无损的，贪心输出与目标模型完全一致。页面给出使用 SGLang 部署的快速开始步骤，需先应用仓库内附带的捕获补丁。附带说明中称并发为 1 时其速度约比 MTP 快 20%。