# 试过在 3090 等显卡上做 GPU 解锁的人：对混合精度量化（部分权重 ≤Q8、部分张量保留 BF16）有区别吗？ - 原标题：People who tried gpu-unlock on 3090s and such - does this make any difference on mixed-precision quants where you get some parts of the model quantized to \<=Q8 but keep some tensors at BF16? - 类型：帖子 - 来源：Reddit - 发布时间：2026-10-26 - 首次精选：2026-10-27 11:32 - 分级：值得看 - 学习层级：深入 - 主题：[model-quantization]()（第 15 位）、[model-serving-compute]()（第 16 位） - 原文链接：[https://reddit.com/r/LocalLLaMA/comments/1xg0kle/people\_who\_tried\_gpuunlock\_on\_3090s\_and\_such\_does]() - 本站页面：[https://oplearnx.com/resources/pk\_74f1830df5a7]() ## 摘要 这是一篇社区提问帖，询问在 3090 一类显卡上解锁 FP16/BF16 矩阵乘性能后，对混合精度量化模型是否有效。评论者回复称基本没有差别：解锁只放开带 FP32 累加的 FP16/BF16 与 TF32 矩阵乘；llama.cpp 对 Q4–Q8 等量化权重走 MMQ INT8→INT32 路径，本来就没有锁定，实测 Q6\_K 模型 prefill 与 decode 速度无变化，收益只出现在用 llama.cpp 跑未量化 BF16 GGUF 时。适合在消费级显卡上运行量化模型并关心推理性能调优的人阅读。 ## 原帖 > Dunno, curious if there's any info out there. — rebellioninmypants · 2026-10-26 · [原帖]() ## 中文大意 发帖人问：在 3090 等卡上做 gpu-unlock（解锁 FP16/BF16 张量核心算力），对混合精度量化模型（大部分权重 \<=Q8，少数张量保留 BF16）是否有实际提速。评论区主流回答是没有明显差别：因为 llama.cpp 对量化权重走的是 MMQ INT8→INT32 路径，本来就不受这个锁影响；解锁只让 FP16/BF16 张量核配 FP32 累加、以及 TF32 张量核从半速恢复到满速。有评论用 3080 20GB、Q6\_K 的 Qwen 27B 实测解码与预填零差异，只有跑未量化 BF16 GGUF 才有 1.5–2 倍预填提升；也有人给出 3090 上 FP16/BF16\+FP32 累加约 1.9 倍、TF32 约 2.1 倍的微基准数据。另有评论指出训练是最大受益场景，TTS/STT/embedding 模型也有收益。适合在消费级多卡上跑 llama.cpp 量化… ## 讨论区核心观点 依据 22 条评论。 - 对量化权重基本无效：llama.cpp 走 MMQ INT8→INT32 路径，本来就没有被锁；Q6\_K 模型预填与解码实测无差异，解码还是带宽受限。（[出处]()） - 解锁只放开 FP16/BF16 张量核配 FP32 累加和 TF32 张量核；微基准显示 3090 上这两项约 1.9 倍、TF32 约 2.1 倍提升。（[出处]()） - 唯一明确收益是跑未量化 BF16 GGUF（预填约 1.5–2 倍）；另有说法称长上下文时 FlashAttention 用 FP32 累加，收益可能更大但未实测。（[出处]()） - 实际使用中差别很小：IQ3S 量化下速度与温度都没变化，双卡 27B BF16 预填只多约 180 tokens/s，也有人测得 1–2%。（[出处]()） - 最大受益场景是训练（消费级卡上约 2 倍），因此相关显卡被大量扫货；8 卡 3090 跑 FP16 模型值得做这个 mod。（[出处]()） - 除 LLM 外，部分 embedding、TTS、STT 模型收益明显；有用户在多卡上跑 DSv4.1 提示处理提速约 30%，温度无明显变化。（[出处]()） --- 来源：LearnMap · 学径（https://oplearnx.com）