DeepInfer:DeepSeek 模型的高性能推理框架
DeepInfer: High-performance inference framework for DeepSeek models
DeepSeek 在 GitHub 上开源的推理框架仓库,称其为支撑 DeepSeek 大规模生产服务的高性能框架,此次开源版本提供面向规模化服务的离线推理能力。README 列出支持的模型为 DeepSeek-V4.1-Flash,并列出了优化内核、注意力 DP/CP 与 MoE EP+EPLB 并行、异步调度、批不变量推理、确定性采样、结构化输出等功能及配置细节。材料中还包含一条 Reddit 用户评论。