Hugging Face··9 天前
incoai/Qwen3.8-Flash-Next-DFlash2
Hugging Face 仓库页面，内容为 Qwen/Qwen3.8-Flash-Next 的 DFlash 2 草稿模型，本身不是独立语言模型，需在推测解码服务器中为目标模型起草 token。DFlash 2 是块扩散式 drafter，一次预测一整块 token 并在每个位置保留最优候选，再由轻量选择器串成连贯路径；解码是无损的，贪心输出与目标模型完全一致。页面给出使用 SGLang 部署的快速开始步骤，需先应用仓库内附带的捕获补丁。附带说明中称并发为 1 时其速度约比 MTP 快 20%。
- 分级
- 值得看
- 收录时间
- 2026-10-26
推荐阅读
为服务逾 10 亿 ChatGPT 用户而快速扩展在线存储（第二部分）
Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)
OpenAI 工程博客系列第二部分，作者为 Jon Lee、Hrachya Hakobyan 和 Chaomin Yu，讲述其应用存储平台 Habitat 如何针对 Azure Cosmos DB 做优化以应对用户规模的快速增长，并实现 ChatGPT 读取速度提升 12 倍。内容包括可靠的多租户机制与全局缓存等主题。工程与基础设施方向的读者可参考。
修复 vLLM 中的工具调用准确性问题
Fixing Tool-Call Accuracy in vLLM
Ubicloud 博客的一篇文章，标题为“Fixing Tool-Call Accuracy in vLLM”。提供的材料仅为博客页面正文的标题与文章列表，未包含文章具体内容，因此无法进一步概述其方法或结论。
DeepInfer：DeepSeek 模型的高性能推理框架
DeepInfer: High-performance inference framework for DeepSeek models
DeepSeek 在 GitHub 上开源的推理框架仓库，称其为支撑 DeepSeek 大规模生产服务的高性能框架，此次开源版本提供面向规模化服务的离线推理能力。README 列出支持的模型为 DeepSeek-V4.1-Flash，并列出了优化内核、注意力 DP/CP 与 MoE EP+EPLB 并行、异步调度、批不变量推理、确定性采样、结构化输出等功能及配置细节。材料中还包含一条 Reddit 用户评论。
Mercury 3：规模化扩散
Mercury 3: Diffusion at scale
Inception 发布 Mercury 3 的官方博客，介绍其称为迄今能力最强的基于扩散（diffusion）的大语言模型。文中称该模型在多项基准上表现优于 GPT-6 Luna 和 Claude Haiku 5.5，在 NVIDIA GPU 上速度约 1,068 tokens/秒，快 4–8 倍，参数量比 Mercury 1 大 40 倍以上，上下文为 100 万 token，并给出输入/输出每百万 token 的定价及上线折扣。文中还提到早期接入伙伴将其用于语音与聊天客服、实时辅导、数据工程和网页导航。
如何在 Strata 中为低量化版本的 Qwen 3.8 Flash Next 使用 Q8 ngram 并避开报错
How to use Q8 ngram with lower quant Qwen 3.8 Flash Next in Strata and avoid errors
r/LocalLLaMA 社区帖子，介绍在 Strata 中通过 --ple-gguf 参数或 Docker 环境的 STRATA_SET 变量旁加载更高精度的 Q8 ngram，以在声称不增加显存与内存占用、不牺牲预填充/解码速度的情况下提升输出质量；作者说明直接使用 Hugging Face 上的原始 ngram gguf 会报架构不匹配错误，需要把 general.architecture 键改为 strata-ple（可下载已修改好的 gguf，或用 gguf-editor-gui 修改），并声明自己尚未验证模型是否真的更聪明、速度与资源影响也未做充分测试。适合在本地用 Strata 跑量化模型、折腾 GGUF 元数据与 ngram 加速的人阅读。
我为一个面向大规模 GPU 工作负载的 PyTorch 优化器做了实现——希望获得反馈 [P]
I built a PyTorch optimizer for large GPU workloads — looking for feedback[P]
这是 r/MachineLearning 的一篇社区帖子（[P] 表示项目分享），作者介绍自己开发的 PyTorch 优化器 ApexW，目标是降低优化器状态显存占用并加快较大 GPU 工作负载上的优化器更新步骤，做法是紧凑的优化器状态加一条基于 Triton 的执行路径。作者称在只有几个大张量时的优化器单项基准中，Triton 加紧凑状态路径比 PyTorch 的 fused AdamW 快约 1.5 倍，优化器状态显存约减半；同时说明自动执行模式尚未稳定取得同样加速，含大量小张量的负载明显慢于 PyTorch fused 优化器（例如 1.28 亿参数分散在众多小张量时，PyTorch 原生为 16.1 ms/步），并强调这些数字来自优化器单项测试而非完整模型训练，希望有人在实现与基准测试上把关。适合从事 PyTorch 训练优化、关注优化器状态显存与 Triton 内核实现的人阅读。