突发，DeepSeek重磅开源核心推理引擎！

新智元报道，DeepSeek开源自研推理框架DeepInfer，并同时放出生产级Token编解码组件deepseek-recipe，支持名单包括英伟达SM100 GPU和华为昇腾950 NPU。文中称该框架支撑DeepSeek V4.1 Flash的大规模推理，单集群一天服务155万亿Token；官方线上统计为平均每请求输入77K Token、首字平均400毫秒、生成阶段每秒230个Token（写代码时可达300）、平均96%输入命中缓存，平均每卡每小时收入38美元。文中还介绍Prefill与Decode拆到不同机器（8卡与64至128卡超节点，建议最小部署单元为64卡加64卡）、请求图像先交独立图像编码服务，以及deepseek-recipe统一三种API格式、处理特殊Token并复用KV缓存的机制。适合关注大模型推理系统与开源基础设施的人阅读。