Sebastian Raschka (Ahead of AI) · Sebastian Raschka
Understanding and Coding the KV Cache in LLMs from Scratch
Understanding and Coding the KV Cache in LLMs from Scratch是Sebastian Raschka (Ahead of AI)的免费文章（en）。前置条件：需要了解 Transformer 自注意力机制（K/Q/V）与基本 PyTorch 张量操作。
理解 KV cache 的作用与代价，并能读懂、运行从零实现带 KV cache 的 GPT 文本生成代码。
- 难度
- 见前置条件
- 类型
- 博客 · 文章
- 语言
- en
- 规模
- 3 个课节
- 内容费用
- 免费
- 动手
- 需要动手环境
使用限制
无需账号即可阅读文章；运行配套代码需本地 Python/PyTorch 环境，代码托管于 GitHub。
- 学习材料
- GitHub 用于获取配套脚本（浏览器直接下载即可）
学完你能
- 解释 KV cache 为什么能加速 LLM 自回归文本生成
- 说明无缓存时每一步重复计算 key/value 向量的冗余在哪里
- 区分使用 KV cache 的收益与代价（代码复杂度、显存占用、不能用于训练）
- 在 MultiHeadAttention 构造函数中认出注册 cache_k / cache_v 两个缓冲区的改动
- 说明 forward 方法新增 use_cache 参数后如何在缓存为空时存入、非空时拼接 key/value
- 获取并各自运行 gpt_ch04.py 与 gpt_with_kv_cache.py 两个自包含脚本
适合你吗
适合
想理解 LLM 推理效率优化、愿意阅读并运行 PyTorch 代码的学习者。
暂不适合
不熟悉注意力机制与 PyTorch、只想看概念概览的读者可能吃力。
需要先会
需要了解 Transformer 自注意力机制（K/Q/V）与基本 PyTorch 张量操作。
课程特点
- 内容侧重
- 侧重实践应用
- 练习与项目
- 对照文章 1、2 小节的代码片段，在 MultiHeadAttention 中自行注册缓存缓冲区并加上 use_cache 分支。
- 学习时长
- 3 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费节选可直接读到文章的主要讲解正文与代码片段，未显示本篇内容被付费墙或登录拦截；文末的 paid subscription 属站点订阅入口。
内容覆盖
- Overview：KV cache 的作用、代价与适用范围
- What Is a KV Cache?：自回归生成中的重复计算与缓存思路
- How LLMs Generate Text (Without and With a KV Cache)：有无缓存的生成流程对比
- Implementing a KV Cache from Scratch：配套脚本 gpt_ch04.py 与 gpt_with_kv_cache.py
- 1. Registering the Cache Buffers：在 MultiHeadAttention 构造函数中注册 cache_k / cache_v
- 2. Forward pass with use_cache flag：带 use_cache 的前向改动（节选到此，后续小节未提供正文）
常见问题
免费吗？
免费：节选可直接读到文章的主要讲解正文与代码片段，未显示本篇内容被付费墙或登录拦截；文末的 paid subscription 属站点订阅入口。实践无额外费用：网页未提及练习需要付费云服务、API 或 GPU。
需要什么基础？
需要了解 Transformer 自注意力机制（K/Q/V）与基本 PyTorch 张量操作。软件、账号与硬件：本地 Python 与 PyTorch 环境（运行仓库脚本）；无需 GPU 或付费服务（网页未提及要求）。
有中文吗？
本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。
怎么开始？
从原始资源入口开始：https://magazine.sebastianraschka.com/p/coding-the-kv-cache-in-llms。本页“学前准备”列出环境与工具，“学习指南”给出开课提示词，可以在自己的电脑上按步骤开始。开课提示词尚未完整验证。学习材料需要自备：GitHub 用于获取配套脚本（浏览器直接下载即可）。
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-24原站首次发布 2025-06-17
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。