项目必读深入
DeepInfer:DeepSeek 模型的高性能推理框架
DeepInfer: High-performance inference framework for DeepSeek models
DeepSeek 在 GitHub 上开源的推理框架仓库,称其为支撑 DeepSeek 大规模生产服务的高性能框架,此次开源版本提供面向规模化服务的离线推理能力。README 列出支持的模型为 DeepSeek-V4.1-Flash,并列出了优化内核、注意力 DP/CP 与 MoE EP+EPLB 并行、异步调度、批不变量推理、确定性采样、结构化输出等功能及配置细节。材料中还包含一条 Reddit 用户评论。
- 收录时间
- 2026-10-26
热度
热度强
- 7 天新增 star
- 暂无数据
- 30 天新增 star
- 暂无数据
- Hacker News
- 2,351 分 · 892 条评论(新标签页打开)
- 社区讨论
- 2 帖
项目信息
- 语言
- Python
- 许可
- Apache-2.0
- 最近提交
- 2026-10-26
- Star
- 24,634
- Fork
- 2,978
上手方式
bash
python examples/offline_inference.py