书籍进阶
量化与快速推理
Quantization and Fast Inference
这是 Manning Publications 出版的图书，作者为 Vivek Kalyanarangan，共 339 页，预计 2026 年 12 月 15 日出版，目前尚未出版。简介称该书介绍在不重新设计架构、不做任务特定压缩的情况下优化 AI 模型的量化技术，涵盖量化基础、PTQ 与 QAT 生产流程及压缩部署，并讨论 LLM 激活异常值、KV 缓存压力和 NF4、FP4 等低于 8 位格式的权衡。
- 分级
- 值得看
- 收录时间
- 2026-10-27
- 难度
- 深入
- 语言
- 英文
- 规模
- 339 页
- 费用
- 付费
- 动手
- 有配套代码
学完你能
- 从第一性原理推导量化映射，理解数值精度与推理效率的关系。
- 把训练后量化（PTQ）工作流应用到生产模型上。
- 用伪量化和直通估计器开展量化感知训练（QAT）。
- 处理 LLM 激活离群值、KV 缓存压力等实际权衡问题。
- 使用 NF4、FP4 等低于 8 位的格式压缩模型。
- 完成从量化基础到运行时打包的完整压缩部署流程。
适合你吗
适合
- 从事模型部署与推理优化的工程师
- 需要降低模型内存与推理成本的深度学习从业者
- 对量化方法与低比特格式有实践需求的研究或工程人员
暂不适合
- 完全没有深度学习与模型训练基础的初学者
- 只想了解概念、不打算动手跑量化流程的读者
需要先会
需具备深度学习与模型训练的基础，并能读懂量化中的数学推导。
本书特点
- 内容侧重
- 以量化为主线，覆盖 PTQ、QAT、低比特格式与运行时打包的完整流程。
- 练习与项目
- 提供配套源码（含 GitHub 仓库），围绕 PTQ、QAT 与压缩部署的实操流程展开。
- 费用说明
- Manning 出版物，需通过购买 MEAP、电子书或订阅获取；页面未给出材料中的具体价格。