试过在 3090 等显卡上做 GPU 解锁的人：对混合精度量化（部分权重 ≤Q8、部分张量保留 BF16）有区别吗？
People who tried gpu-unlock on 3090s and such - does this make any difference on mixed-precision quants where you get some parts of the model quantized to <=Q8 but keep some tensors at BF16?
这是一篇社区提问帖，询问在 3090 一类显卡上解锁 FP16/BF16 矩阵乘性能后，对混合精度量化模型是否有效。评论者回复称基本没有差别：解锁只放开带 FP32 累加的 FP16/BF16 与 TF32 矩阵乘；llama.cpp 对 Q4–Q8 等量化权重走 MMQ INT8→INT32 路径，本来就没有锁定，实测 Q6_K 模型 prefill 与 decode 速度无变化，收益只出现在用 llama.cpp 跑未量化 BF16 GGUF 时。适合在消费级显卡上运行量化模型并关心推理性能调优的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-27
原帖
Dunno, curious if there's any info out there.
中文大意
发帖人问：在 3090 等卡上做 gpu-unlock（解锁 FP16/BF16 张量核心算力），对混合精度量化模型（大部分权重 <=Q8，少数张量保留 BF16）是否有实际提速。评论区主流回答是没有明显差别：因为 llama.cpp 对量化权重走的是 MMQ INT8→INT32 路径，本来就不受这个锁影响；解锁只让 FP16/BF16 张量核配 FP32 累加、以及 TF32 张量核从半速恢复到满速。有评论用 3080 20GB、Q6_K 的 Qwen 27B 实测解码与预填零差异，只有跑未量化 BF16 GGUF 才有 1.5–2 倍预填提升；也有人给出 3090 上 FP16/BF16+FP32 累加约 1.9 倍、TF32 约 2.1 倍的微基准数据。另有评论指出训练是最大受益场景，TTS/STT/embedding 模型也有收益。适合在消费级多卡上跑 llama.cpp 量化…
讨论区核心观点
依据 22 条评论
- 对量化权重基本无效：llama.cpp 走 MMQ INT8→INT32 路径，本来就没有被锁；Q6_K 模型预填与解码实测无差异，解码还是带宽受限。 出处（新标签页打开）
- 解锁只放开 FP16/BF16 张量核配 FP32 累加和 TF32 张量核；微基准显示 3090 上这两项约 1.9 倍、TF32 约 2.1 倍提升。 出处（新标签页打开）
- 唯一明确收益是跑未量化 BF16 GGUF（预填约 1.5–2 倍）；另有说法称长上下文时 FlashAttention 用 FP32 累加，收益可能更大但未实测。 出处（新标签页打开）
- 实际使用中差别很小：IQ3S 量化下速度与温度都没变化，双卡 27B BF16 预填只多约 180 tokens/s，也有人测得 1–2%。 出处（新标签页打开）
- 最大受益场景是训练（消费级卡上约 2 倍），因此相关显卡被大量扫货；8 卡 3090 跑 FP16 模型值得做这个 mod。 出处（新标签页打开）
- 除 LLM 外，部分 embedding、TTS、STT 模型收益明显；有用户在多卡上跑 DSv4.1 提示处理提速约 30%，温度无明显变化。 出处（新标签页打开）