课程
datawhalechina/zero-to-sglang
SGLang 与 Datawhale 合作的 LLM 推理课程仓库，提供英文与简体中文版本。课程内容依次为理解 LLM 推理、从零实现一个 mini-sglang、阅读真实 SGLang 源码并提交第一个 PR，仓库标签包含 cuda、kv-cache、inference-engine 等。
- 分级
- 值得看
- 所属主题
- 整理中
- 收录时间
- 2026-10-26
- 难度
- 进阶
- 语言
- 英文 · 简体中文
- 规模
- 4 部分 · 22 章
- 费用
- 免费
- 动手
- 手写 mini-sglang
学完你能
- 理解推理核心概念：KV Cache、prefill 与 decode、compute-bound 与 memory-bound
- 从零手写一个 mini-sglang，把每一步落到代码上
- 读懂真实 SGLang 源码中 RadixAttention、Paged KV Cache 与 Continuous Batching 的实现
- 了解量化、分层缓存、DP Attention / EP / PP、Prefill-Decode 分离等前沿优化
- 掌握 profiling 与 trace 分析，并走通 SGLang 的 PR 流程
适合你吗
适合
- 熟悉 Python 与 PyTorch、想系统学 LLM 推理引擎的开发者
- 希望从概念过渡到读懂 SGLang 真实源码的学习者
- 想为 SGLang 等开源推理框架贡献代码、需要了解 PR 流程的人
暂不适合
- 完全没有 Python 或深度学习基础的初学者
- 只想了解概念、不打算动手写代码的人
需要先会
需要熟练使用 Python、熟悉 PyTorch 与神经网络基础，并具备线性代数与概率知识（大致了解矩阵乘法与注意力的计算即可）；CUDA 基础与 GPU 硬件为可选项，Part I 无需 GPU。
课程特点
- 内容侧重
- 以 LLM 推理引擎为主线：先讲清推理概念，再手写 mini-sglang，最后对照真实 SGLang 源码讲前沿优化与开源贡献。
- 练习与项目
- Part II 每章配概念篇与代码走读，逐步实现前向与生成、KV Cache、HTTP 服务、Continuous Batching、Paged KV Cache、RadixAttention 等；材料未提及作业或考试安排。
- 投入时间
- 材料未给出每讲时长与总时长；写作计划为约每周一章。
- 费用说明
- 课程材料以 GitHub 仓库与在线文档形式公开，采用 CC BY-NC-SA 4.0 许可；材料未提及价格、证书或会员。
内容覆盖
- 第 0 部分 0.1 编码伦理与开源精神
- 第 0 部分 0.2 部署你的第一个 SGLang 服务器
- 第 I 部分 1 LLM 导论
- 第 I 部分 2 推理导论
- 第 I 部分 3 GPU 导论
- 第 I 部分 4 KV Cache：推理的核心数据结构
- 第 I 部分 5 Benchmark 导论
- 第 II 部分 1 mini-sglang：推理引擎长什么样
- 第 II 部分 2 深入 SGLang：一个请求的路径
- 第 II 部分 3 最初的 200 行：前向与生成
- 第 II 部分 4 KV Cache：从 O(n²) 到 O(n)
- 第 II 部分 5 HTTP 与并发请求
- 第 II 部分 6 Continuous Batching 与调度器
- 第 II 部分 7 Paged KV Cache 与显存管理
- 第 II 部分 8 RadixAttention 与前缀缓存
- 第 II 部分 9 多进程与张量并行
- 第 II 部分 10 投机解码
- 第 III 部分 1 注意力后端（FlashInfer / Triton / FA3 / FlashMLA）
- 第 III 部分 2 量化与低精度推理
- 第 III 部分 3 分层缓存
- 第 III 部分 4 横向扩展：DP Attention、EP、PP
- 第 III 部分 5 Prefill-Decode 分离
- 第 IV 部分 1 用 Cookbook 部署 SGLang
- 第 IV 部分 2 全面测量：Profiling 与 Trace 分析
- 第 IV 部分 3 SGLang PR 工作流