# 推理如何跟上我们对 token 的无穷需求——Cerebras 与 Gimlet Labs

- 原标题：How Inference Keeps Up with Our Insatiable Need for Tokens — Cerebras & Gimlet Labs
- 类型：博客
- 来源：YouTube
- 发布时间：2026-10-12
- 首次精选：2026-10-26 16:31
- 分级：值得看
- 原文链接：[https://youtube.com/watch?v=\_cRgl3maiT8](<https://youtube.com/watch?v=_cRgl3maiT8>)
- 本站页面：[https://oplearnx.com/resources/pk\_1a42c99da9ab](<https://oplearnx.com/resources/pk_1a42c99da9ab>)

## 摘要

Cerebras 的 Daniel Kim 与 Gimlet Labs 联合创始人 Michelle 讲解推理为何持续变快变便宜。Daniel 讲运行时层面：解码为何受内存限制、把模型拆分到多块 GPU、连续批处理、KV cache、分页注意力、提示缓存和分块预填充；Michelle 讲系统层面：预填充/解码解耦、投机解码、注意力/FFN 解耦、Gimlet 的多芯片云，以及用 Agent 生成优化内核。视频以 Google 月 token 量从 480 万亿增至 3.2 千万亿为背景展开。

---
来源：LearnMap · 学径（https://oplearnx.com）