#DeepSeek开源##推理框架# 还得是「源神」D老师，善呐

突发，DeepSeek重磅开源核心推理引擎！

新智元报道，DeepSeek开源自研推理框架DeepInfer，并同时放出生产级Token编解码组件deepseek-recipe，支持名单包括英伟达SM100 GPU和华为昇腾950 NPU。文中称该框架支撑DeepSeek V4.1 Flash的大规模推理，单集群一天服务155万亿Token；官方线上统计为平均每请求输入77K Token、首字平均400毫秒、生成阶段每秒230个Token（写代码时可达300）、平均96%输入命中缓存，平均每卡每小时收入38美元。文中还介绍Prefill与Decode拆到不同机器（8卡与64至128卡超节点，建议最小部署单元为64卡加64卡）、请求图像先交独立图像编码服务，以及deepseek-recipe统一三种API格式、处理特殊Token并复用KV缓存的机制。适合关注大模型推理系统与开源基础设施的人阅读。

DeepInfer：DeepSeek 模型的高性能推理框架

DeepInfer: High-performance inference framework for DeepSeek models

DeepSeek 在 GitHub 上开源的推理框架仓库，称其为支撑 DeepSeek 大规模生产服务的高性能框架，此次开源版本提供面向规模化服务的离线推理能力。README 列出支持的模型为 DeepSeek-V4.1-Flash，并列出了优化内核、注意力 DP/CP 与 MoE EP+EPLB 并行、异步调度、批不变量推理、确定性采样、结构化输出等功能及配置细节。材料中还包含一条 Reddit 用户评论。

[GPU Lawyer] 在 4 张 32GB V100 上运行 Deepseek 4.1 Flash 1018：解码接近 40 tok/s，下一步测试 8 张 V100

[GPU Lawyer] Deepseek 4.1 Flash 1018 on 4 32GB V100s -- pushing 40 tok/s decode, and will test across 8 v100s next.

这是一篇 Reddit r/LocalLLaMA 的社区帖子，作者公布在 4 张 2017 年的 V100 32GB SXM2 显卡加系统内存上、面向单用户运行 DeepSeek-V4.1-Flash 的实测结果：关闭思考时 8K 至 75K 上下文下生成速度 36–38 tok/s，开启思考时 32–38 tok/s，预填充约 1000–1200 tok/s，上下文窗口设为 524,288 token；基于 1Cat-vLLM 分支（#1277 合并点）完成 Volta sm70 适配。帖中还列出 CPU、内存、NVLink、功耗与软件版本等详细配置，并说明将测试 8 张 V100。适合在老款 V100 服务器上做本地大模型部署、关注 vLLM 分支与推理吞吐调优的人阅读。