# 模型量化 学习低精度格式、量化质量和部署方法，适合希望降低资源需求的开发者。 - 所属：[部署与推理优化]() - 网站：[https://oplearnx.com/topics/model-quantization]() ## 推荐学习顺序 1. [24GB 显存 \+ 48GB 内存能跑 qwen3.8-flash-next 吗？]()（帖子 · 入门）：r/LocalLLaMA 社区帖子。发帖者尝试运行一次失败，求问配置建议。评论中有人称在 12GB 显存 \+ 64GB 内存上能跑 IQ3\_XXS；有人给出可完全放在内存中的 GGUF 链接、ngram 表放 SSD；有人称 IQ3\_XXS 在 RTX 4090 \+ 48GB 内存上用 Strata 刚好装下、约 70t/s，但没有给其他程序留余量；还有人提到 32GB 显存 \+ 32GB 内存跑 swift IQ3\_xxs 效果不错、升级到 48GB 内存后跑 IQ3\_S，并建议用 Strata 自动检测机器并推荐量化版本。适合在消费级显存/内存条件下部署该模型、需要参考量化与放置方案的人阅读。 2. [Swift1.5 qwen flash next iq3xxs（gsq rco）去审查版 \+ 基础模型：能否不用重复下载？]()（帖子 · 入门）：r/LocalLLaMA 社区帖子。发帖者把 swift 1.5 qwen flash next gsq rco iq3xxs 作为主力模型跑在 Strata 上，但偶尔遇到拒答，想同时保留 abliterated（去审查）版本，又听说后者质量会有损失，只打算在特定边缘情况使用。因其 1TB 存储所剩不多，询问是否可以只下载有变化的权重再与之合并，并说明自己是新手、不确定这种做法是否可行。适合在有限硬盘空间下管理多个量化模型变体的人阅读。 3. [1000 英镑预算下，本地大模型整机的主流配置是什么？]()（帖子 · 进阶）：r/LocalLLaMA 的社区帖子，作者询问含主机在内的 1000 英镑预算下本地大模型机器的常见配置，表示不太在意新硬件特性和能耗，只看重算力和智能水平。评论区中一位回复者分享了自己的方案及欧盟价格：两张 3060 12GB 约 400–500 欧元、64GB DDR4 内存 200–300 欧元、Ryzen 3600 60 欧元、AM4 主板 100 欧元、机箱与电源 100 欧元、若干 SATA 固态约 100 欧元，合计约 960–1160 欧元，多为二手件，显存加内存共 88GB，并建议直接上 5700x–5800x；同时指出升级到 128GB 因 32GB 内存条稀少而昂贵、预填充速度约 700 tps 等局限。适合预算有限、准备自行组装本地推理机器的人阅读。 4. [8 GB 显卡、262K 上下文、3.5 BPW 的 Qwen-Flash-Next Coder，用 llama.cpp 达到 70 T/s]()（帖子 · 进阶）：r/LocalLLaMA 的一篇社区帖子。作者介绍其做法：Qwen-Flash-Next 有 n-gram 和 MOE，激活参数为 6B，因此把大部分 MOE 放在内存、最小的 MOE 放进显存以提速、n-gram 放在最快的 SSD 上；配置为 8 GB 显存加 24 GB 内存，约 32 GB 总内存也能运行但需降低上下文长度，并需按硬件调整启动参数。帖子补充说明 CUDA 在 8 GB 显存下可能跑不起来，建议改用 Vulkan 后端，同时减小上下文并关闭浏览器硬件加速等占用显存的程序。作者还说明所用模型是 ISTA DASLab 的 3.5 BPW “Coder”变体、采用 GSQ RCO 量化，移除了一半专家，折算为原模型参数量的 1.89 比特有效速率，但没有任何单个权重以 1.89 比特存储。适合用 llama.cpp 在低显存消费级硬件上部署量化 MoE 模型的人阅读。 5. [VecSzn/PolyStrata]()（项目 · 进阶）：一个在个人电脑上本地运行大模型的方案，其中 Qwen3.8-Flash-Next 运行在 Strata 引擎上，另有一套为 PolyStrata 编写的第二引擎支持 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V 等模型。提供 Windows 和 Linux 一键安装，并在 localhost 暴露 OpenAI/Anthropic 兼容 API。 6. [如何在 Strata 中为低量化版本的 Qwen 3.8 Flash Next 使用 Q8 ngram 并避开报错]()（帖子 · 进阶）：r/LocalLLaMA 社区帖子，介绍在 Strata 中通过 --ple-gguf 参数或 Docker 环境的 STRATA\_SET 变量旁加载更高精度的 Q8 ngram，以在声称不增加显存与内存占用、不牺牲预填充/解码速度的情况下提升输出质量；作者说明直接使用 Hugging Face 上的原始 ngram gguf 会报架构不匹配错误，需要把 general.architecture 键改为 strata-ple（可下载已修改好的 gguf，或用 gguf-editor-gui 修改），并声明自己尚未验证模型是否真的更聪明、速度与资源影响也未做充分测试。适合在本地用 Strata 跑量化模型、折腾 GGUF 元数据与 ngram 加速的人阅读。 7. [好得不像真的？ISTA 的 GSQ-RCO 2-bit DeepSeek-V4.1-Flash 得分与基座模型相同]()（帖子 · 进阶）：r/LocalLLaMA 的一篇社区帖子。作者询问是否有人试过 ISTA 为 DeepSeek-V4.1-Flash 发布的 GSQ-RCO GGUF 量化模型，以及实际质量是否与榜单成绩相符（IQ2\_XXS 与基座持平）。作者指出其基准已饱和（90% 以上，AIME25 各版本均为 100），可能无法体现性能退化，也找不到 GSQ-RCO 模型的 KLD 数据，因此询问是否有人测过 KLD 或 PPL，以及在约 2 bpw 下预期的 KLD 是多少，并附上 Hugging Face 模型页链接。适合在本地部署低比特量化大模型、关注量化后质量评估的人阅读。 8. [真的有人在 1–3 bpw 以下使用 deepseekv4.1f 吗？]()（帖子 · 进阶）：r/LocalLLaMA 社区帖子，发帖人看到很多关于在低价硬件上以低 bpw 运行 deepseekv4.1 1017 且速度尚可的帖子，想做一次实际使用情况的核实：除了当作新奇玩意，是否真有人在低比特量化下用它做事。他回顾此前用 v4-0731 的 Q2 经验，认为相比完整的 Q8 差距明显，而那个 Q8 本身已等于约 90% 的 QAT 后 Q4，再降两个 bpw 后表现不佳。他征询使用 1–3 bpw v4.1-1017 的人分享体验，最好与 3.8FN 更高量化版本作对比。适合在有限硬件上运行低比特量化大模型、比较不同量化方案实际可用性的人阅读。 9. [单块 3090 跑 27B：10 万 token 处仍达 110\+ TPS，上下文可达 400k]()（帖子 · 进阶）：这是一篇 Reddit r/LocalLLaMA 社区帖子，介绍 LlamAmpere v0.6 版本发布内容：TPS 提升约 13%（100–105K token 区间平均 112 TPS）、提示处理提升约 20%（前 10 万 token 平均预填充从约 1080 提升到约 1300 TPS）、推出新的 Ampere Integer\+ 文件格式并与 XS、EXL3 作 KLD 与速度对比，以及借助 SJKVaRN 在约 23.5GB 占用下实现超过 400K 总上下文。适合在单块 3090 上运行本地推理、关注量化格式与长上下文性能的人阅读。 10. [Parameter Golf 教给我们的关于 AI 辅助研究的事]()（博客 · 进阶）：OpenAI 于 2026 年 5 月 12 日发布的研究文章，回顾名为 Parameter Golf 的开放机器学习挑战：该活动吸引 1000 多名参与者、2000 多份提交，在严格约束下探索 AI 辅助机器学习研究、编程智能体、量化与新型模型设计。文中还设有“技术印象”和“纪录赛道”等小节，分享相关经验。 11. [从 GPT-2 到 gpt-oss：架构进展分析]()（博客 · 进阶）：Sebastian Raschka 于 2025 年 8 月 9 日发布的文章，围绕 OpenAI 新发布的开权重模型 gpt-oss-120b 与 gpt-oss-20b，基于代码与技术报告总结架构细节。内容包括与 GPT-2 的架构对比、用于把模型放进单张 GPU 的 MXFP4 优化、宽度与深度的取舍（与 Qwen3 对比）、注意力偏置与 attention sinks、基准比较，文末简要讨论 GPT-5。 12. [量化与快速推理]()（书籍 · 进阶）：这是 Manning Publications 出版的图书，作者为 Vivek Kalyanarangan，共 339 页，预计 2026 年 12 月 15 日出版，目前尚未出版。简介称该书介绍在不重新设计架构、不做任务特定压缩的情况下优化 AI 模型的量化技术，涵盖量化基础、PTQ 与 QAT 生产流程及压缩部署，并讨论 LLM 激活异常值、KV 缓存压力和 NF4、FP4 等低于 8 位格式的权衡。 13. [在 NVIDIA DGX Spark 上提升 MoE 推理性能的 3 种方法]()（博客 · 深入）：这是 NVIDIA 技术博客的一篇文章，以 1240 亿参数、每 token 激活 51 亿参数的 Ling-3.0-flash 混合专家模型为例，在 NVIDIA DGX Spark、batch size 为 1 的条件下评测三项优化：Humming MXFP4 MoE 后端、在线 FP8 LM head 量化、以及结合 NEXTN 的 MTP 投机解码。文中给出配置对比数据：基线每输出 token 耗时 27.71 ms、解码吞吐 36.09 tok/s，逐项叠加后分别提升 9.3%、21.7%，三项全开时为 9.72 ms、102.88 tok/s、相对基线提升 185.1%。文中还提到性能剖析显示解码受内存带宽限制，MoE 计算与输出层投影占主要执行时间。 14. [统一边缘 AI：Coral NPU 的开放标准如何把可移植、能耗可行的智能从模型带到芯片]()（博客 · 进阶）：Google Developers Blog 文章。介绍 Google Research 通过引入 Matrix Execution Unit 完成了 32 位开源 Coral NPU RISC-V 架构，边缘推理性能最高 1 TOPS、目标平均功耗 10 mW；同时发布 v1.0 开源 IREE/MLIR 编译器，使开发者可将 JAX、PyTorch、TensorFlow 模型直接部署到 Coral NPU 硬件而无需编写自定义汇编。文中还提到可借助 Synaptics Astra SR200 MCU 系列和 Coralboard 开发套件来原型验证和部署多模态边缘应用。适合做边缘 AI 推理、编译器或嵌入式硬件开发的开发者阅读。 15. [试过在 3090 等显卡上做 GPU 解锁的人：对混合精度量化（部分权重 ≤Q8、部分张量保留 BF16）有区别吗？]()（帖子 · 深入）：这是一篇社区提问帖，询问在 3090 一类显卡上解锁 FP16/BF16 矩阵乘性能后，对混合精度量化模型是否有效。评论者回复称基本没有差别：解锁只放开带 FP32 累加的 FP16/BF16 与 TF32 矩阵乘；llama.cpp 对 Q4–Q8 等量化权重走 MMQ INT8→INT32 路径，本来就没有锁定，实测 Q6\_K 模型 prefill 与 decode 速度无变化，收益只出现在用 llama.cpp 跑未量化 BF16 GGUF 时。适合在消费级显卡上运行量化模型并关心推理性能调优的人阅读。 16. [DiffusionGemma：文本生成速度提升 4 倍]()（博客 · 深入）：Google DeepMind 发布实验性开放模型 DiffusionGemma，采用文本扩散方式一次性生成整块文本，而非逐 token 顺序生成，据称在专用 GPU 上推理速度最高提升 4 倍。该模型为 26B MoE 结构，以 Apache 2.0 许可证发布，面向研究速度敏感、交互式本地工作流（如行内编辑、快速迭代）的研究者和开发者。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）