更多项目
项目必读深入

DeepInfer:DeepSeek 模型的高性能推理框架

DeepInfer: High-performance inference framework for DeepSeek models

AI 导读

DeepSeek 在 GitHub 上开源的推理框架仓库,称其为支撑 DeepSeek 大规模生产服务的高性能框架,此次开源版本提供面向规模化服务的离线推理能力。README 列出支持的模型为 DeepSeek-V4.1-Flash,并列出了优化内核、注意力 DP/CP 与 MoE EP+EPLB 并行、异步调度、批不变量推理、确定性采样、结构化输出等功能及配置细节。材料中还包含一条 Reddit 用户评论。

收录时间
2026-10-26

热度

热度强
7 天新增 star
暂无数据
30 天新增 star
暂无数据
社区讨论
2 帖

项目信息

语言
Python
许可
Apache-2.0
最近提交
2026-10-26
Star
24,634
Fork
2,978

上手方式

bash
python examples/offline_inference.py

摘自 README(新标签页打开)