项目发布 10-07
mw00/project-maya
Project Maya 是用于在自有 GPU 上私有运行 GLM-5.3-Flash（321B MoE）和 DeepSeek-V4.1-Flash-1017（748B MoE）的项目，支持单卡至 16 卡、NVIDIA 与 AMD、Linux 与 Windows（实验性）。包含推理引擎、服务器、仪表盘、OpenAI 与 Anthropic 兼容 API 以及量化工具，可处理并发请求并支持图片。
混合专家模型
学习 MoE 的专家路由、共享、稀疏计算和训练，适合模型研究与工程人员。
21 条精选 · 入门 3 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
-
20深入
-
21深入项目必读发布 10-16
DeepInfer：DeepSeek 模型的高性能推理框架
DeepInfer: High-performance inference framework for DeepSeek models
DeepSeek 在 GitHub 上开源的推理框架仓库，称其为支撑 DeepSeek 大规模生产服务的高性能框架，此次开源版本提供面向规模化服务的离线推理能力。README 列出支持的模型为 DeepSeek-V4.1-Flash，并列出了优化内核、注意力 DP/CP 与 MoE EP+EPLB 并行、异步调度、批不变量推理、确定性采样、结构化输出等功能及配置细节。材料中还包含一条 Reddit 用户评论。