# datawhalechina/zero-to-sglang - 原标题：datawhalechina/zero-to-sglang - 类型：课程 - 来源：GitHub - 学期：未标注 - 首次精选：2026-10-26 16:27 - 分级：值得看 - 原文链接：[https://github.com/datawhalechina/zero-to-sglang]() - 本站页面：[https://oplearnx.com/resources/pk\_70aac004a46d]() ## 摘要 SGLang 与 Datawhale 合作的 LLM 推理课程仓库，提供英文与简体中文版本。课程内容依次为理解 LLM 推理、从零实现一个 mini-sglang、阅读真实 SGLang 源码并提交第一个 PR，仓库标签包含 cuda、kv-cache、inference-engine 等。 ## 概览 - 难度：进阶 - 语言：英文 · 简体中文 - 规模：4 部分 · 22 章 - 费用：免费 - 动手：手写 mini-sglang ## 学完你能 - 理解推理核心概念：KV Cache、prefill 与 decode、compute-bound 与 memory-bound - 从零手写一个 mini-sglang，把每一步落到代码上 - 读懂真实 SGLang 源码中 RadixAttention、Paged KV Cache 与 Continuous Batching 的实现 - 了解量化、分层缓存、DP Attention / EP / PP、Prefill-Decode 分离等前沿优化 - 掌握 profiling 与 trace 分析，并走通 SGLang 的 PR 流程 ## 适合你吗 - 适合：熟悉 Python 与 PyTorch、想系统学 LLM 推理引擎的开发者 - 适合：希望从概念过渡到读懂 SGLang 真实源码的学习者 - 适合：想为 SGLang 等开源推理框架贡献代码、需要了解 PR 流程的人 - 暂不适合：完全没有 Python 或深度学习基础的初学者 - 暂不适合：只想了解概念、不打算动手写代码的人 - 需要先会：需要熟练使用 Python、熟悉 PyTorch 与神经网络基础，并具备线性代数与概率知识（大致了解矩阵乘法与注意力的计算即可）；CUDA 基础与 GPU 硬件为可选项，Part I 无需 GPU。 ## 课程特点 - 内容侧重：以 LLM 推理引擎为主线：先讲清推理概念，再手写 mini-sglang，最后对照真实 SGLang 源码讲前沿优化与开源贡献。 - 练习与项目：Part II 每章配概念篇与代码走读，逐步实现前向与生成、KV Cache、HTTP 服务、Continuous Batching、Paged KV Cache、RadixAttention 等；材料未提及作业或考试安排。 - 投入时间：材料未给出每讲时长与总时长；写作计划为约每周一章。 - 费用说明：课程材料以 GitHub 仓库与在线文档形式公开，采用 CC BY-NC-SA 4.0 许可；材料未提及价格、证书或会员。 ## 内容覆盖 - 第 0 部分 0.1 编码伦理与开源精神 - 第 0 部分 0.2 部署你的第一个 SGLang 服务器 - 第 I 部分 1 LLM 导论 - 第 I 部分 2 推理导论 - 第 I 部分 3 GPU 导论 - 第 I 部分 4 KV Cache：推理的核心数据结构 - 第 I 部分 5 Benchmark 导论 - 第 II 部分 1 mini-sglang：推理引擎长什么样 - 第 II 部分 2 深入 SGLang：一个请求的路径 - 第 II 部分 3 最初的 200 行：前向与生成 - 第 II 部分 4 KV Cache：从 O\(n²\) 到 O\(n\) - 第 II 部分 5 HTTP 与并发请求 - 第 II 部分 6 Continuous Batching 与调度器 - 第 II 部分 7 Paged KV Cache 与显存管理 - 第 II 部分 8 RadixAttention 与前缀缓存 - 第 II 部分 9 多进程与张量并行 - 第 II 部分 10 投机解码 - 第 III 部分 1 注意力后端（FlashInfer / Triton / FA3 / FlashMLA） - 第 III 部分 2 量化与低精度推理 - 第 III 部分 3 分层缓存 - 第 III 部分 4 横向扩展：DP Attention、EP、PP - 第 III 部分 5 Prefill-Decode 分离 - 第 IV 部分 1 用 Cookbook 部署 SGLang - 第 IV 部分 2 全面测量：Profiling 与 Trace 分析 - 第 IV 部分 3 SGLang PR 工作流 ## 原文涉及 - [GitHub - sgl-project/sglang: SGLang is a high-performance serving framework for large language models and multimodal models.]() --- 来源：LearnMap · 学径（https://oplearnx.com）