# 量化与快速推理

- 原标题：Quantization and Fast Inference
- 类型：书籍
- 来源：Manning
- 发布时间：2026-10-27
- 首次精选：2026-10-27 16:17
- 分级：值得看
- 学习层级：进阶
- 主题：[decoding-acceleration](<https://oplearnx.com/md/topics/decoding-acceleration.md>)（第 1 位）、[model-quantization](<https://oplearnx.com/md/topics/model-quantization.md>)（第 12 位）、[context-cache-optimization](<https://oplearnx.com/md/topics/context-cache-optimization.md>)（第 23 位）
- 原文链接：[https://manning.com/books/quantization-and-fast-inference](<https://manning.com/books/quantization-and-fast-inference>)
- 本站页面：[https://oplearnx.com/resources/pk\_cf589441099b](<https://oplearnx.com/resources/pk_cf589441099b>)

## 摘要

这是 Manning Publications 出版的图书，作者为 Vivek Kalyanarangan，共 339 页，预计 2026 年 12 月 15 日出版，目前尚未出版。简介称该书介绍在不重新设计架构、不做任务特定压缩的情况下优化 AI 模型的量化技术，涵盖量化基础、PTQ 与 QAT 生产流程及压缩部署，并讨论 LLM 激活异常值、KV 缓存压力和 NF4、FP4 等低于 8 位格式的权衡。

## 概览

- 难度：深入
- 语言：英文
- 规模：339 页
- 费用：付费
- 动手：有配套代码

## 学完你能

- 从第一性原理推导量化映射，理解数值精度与推理效率的关系。
- 把训练后量化（PTQ）工作流应用到生产模型上。
- 用伪量化和直通估计器开展量化感知训练（QAT）。
- 处理 LLM 激活离群值、KV 缓存压力等实际权衡问题。
- 使用 NF4、FP4 等低于 8 位的格式压缩模型。
- 完成从量化基础到运行时打包的完整压缩部署流程。

## 适合你吗

- 适合：从事模型部署与推理优化的工程师
- 适合：需要降低模型内存与推理成本的深度学习从业者
- 适合：对量化方法与低比特格式有实践需求的研究或工程人员
- 暂不适合：完全没有深度学习与模型训练基础的初学者
- 暂不适合：只想了解概念、不打算动手跑量化流程的读者
- 需要先会：需具备深度学习与模型训练的基础，并能读懂量化中的数学推导。

## 本书特点

- 内容侧重：以量化为主线，覆盖 PTQ、QAT、低比特格式与运行时打包的完整流程。
- 练习与项目：提供配套源码（含 GitHub 仓库），围绕 PTQ、QAT 与压缩部署的实操流程展开。
- 费用说明：Manning 出版物，需通过购买 MEAP、电子书或订阅获取；页面未给出材料中的具体价格。

---
来源：LearnMap · 学径（https://oplearnx.com）