Sebastian Raschka··5 个月前
从零实现 DeepSeek 稀疏注意力
DeepSeek Sparse Attention From Scratch
Sebastian Raschka 的短笔记，说明他应一位读者贡献，在 LLMs-from-scratch 代码库中新增了 DeepSeek 稀疏注意力的从零实现。该文件夹含有 README、一个独立的 GPT 风格参考实现和测试文件；笔记说明其核心思路是用学习得到的稀疏模式取代固定稀疏模式，通过轻量索引器和选择器决定关注哪些先前 token，并链接到相关概念页和对比解释材料。
- 分级
- 值得看
- 收录时间
- 2026-10-28
推荐阅读
单块 3090 跑 27B：10 万 token 处仍达 110+ TPS，上下文可达 400k
110+ TPS through 100K tokens with 27b on a single 3090, with 400k ctx
这是一篇 Reddit r/LocalLLaMA 社区帖子，介绍 LlamAmpere v0.6 版本发布内容：TPS 提升约 13%（100–105K token 区间平均 112 TPS）、提示处理提升约 20%（前 10 万 token 平均预填充从约 1080 提升到约 1300 TPS）、推出新的 Ampere Integer+ 文件格式并与 XS、EXL3 作 KLD 与速度对比，以及借助 SJKVaRN 在约 23.5GB 占用下实现超过 400K 总上下文。适合在单块 3090 上运行本地推理、关注量化格式与长上下文性能的人阅读。
走进大语言模型架构图库
Inside the LLM Architecture Gallery
Sebastian Raschka 的博客文章，介绍他建立的 LLM Architecture Gallery（大语言模型架构图库）：把他为阅读新模型报告而绘制的架构图集中在一处，截至更新时收录来自 42 篇文章和报告的 93 张模型卡片，覆盖 GPT-2、Llama 3 等稠密架构、DeepSeek V3、Kimi K2 等混合专家模型以及注意力与循环/状态空间层结合的混合架构；文中说明了每张卡片的架构图、原文链接和参数事实表等内容。
从头理解并用代码实现 LLM 中的 KV 缓存
Understanding and Coding the KV Cache in LLMs from Scratch
Sebastian Raschka 于 2025 年 6 月 17 日发布的技术教程，讲解 LLM 推理中 KV 缓存的工作原理，并给出一个从零实现、便于阅读的代码示例。文中说明 KV 缓存存储推理阶段可复用的 key 与 value 中间计算结果，可显著加快文本生成；代价是增加代码复杂度与内存需求，且不能用于训练。作者提到该主题未包含在其《Building a Large Language Model From Scratch》一书中。
现代大语言模型中注意力变体的可视化指南
A Visual Guide to Attention Variants in Modern LLMs
文章以图解方式梳理现代 LLM 中的注意力变体，涵盖 MHA、GQA、MLA、稀疏注意力和混合架构等。作者说明原计划写 DeepSeek V4，因该模型尚未发布而转向整理过去几年介绍过的 LLM 架构，形成含 45 个条目的 LLM 架构画廊并配有视觉模型卡，另提供海报版本。适合想系统了解各类注意力结构的读者。
调优后的 Strata 配置：2000 PP、平均 tg 95–105
Tuned Strata config, 2000 PP and 95-105 mean tg
一篇 r/LocalLLaMA 社区帖子，作者在 RTX 4090 + 48 GB 内存、Ryzen 3900X、Windows、200k 上下文的环境下运行 IQ3_S Qwen3.8-Flash-Next，对 Strata 0.43 的大量参数做了近似网格搜索。帖子称 decode 从 97 tok/s 提升到 142 tok/s（+45%），列出最有效的几个参数（--adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2）和最差的几个（--expert-cache 单位是 MiB、--ple-io ram、--no-prefill-borrow），并指出 Windows 无法用 cuda 固定内存。适合在单卡上折腾 Strata 推理引擎参数调优的人阅读。
本周几个值得关注的开源权重模型
A Few Notable Open-Weight Models This Week
Sebastian Raschka 的简短笔记，介绍近期发布的六个开源权重模型架构，包括 Nanbeige 4.2、Laguna S 2.1、Motif-3-Beta、Solar Open 2、Antares 1B 和 BTL-3。文中给出了各模型的架构示意图与作者认为有意思的设计说明，例如 Nanbeige 4.2 3B 采用循环深度共享，将同一 22 层堆栈运行两次，扩展到 44 层而不复制权重。