好得不像真的？ISTA 的 GSQ-RCO 2-bit DeepSeek-V4.1-Flash 得分与基座模型相同
Too good to be true? ISTA's GSQ-RCO 2-bit DeepSeek-V4.1-Flash scoring the same as the base model
r/LocalLLaMA 的一篇社区帖子。作者询问是否有人试过 ISTA 为 DeepSeek-V4.1-Flash 发布的 GSQ-RCO GGUF 量化模型，以及实际质量是否与榜单成绩相符（IQ2_XXS 与基座持平）。作者指出其基准已饱和（90% 以上，AIME25 各版本均为 100），可能无法体现性能退化，也找不到 GSQ-RCO 模型的 KLD 数据，因此询问是否有人测过 KLD 或 PPL，以及在约 2 bpw 下预期的 KLD 是多少，并附上 Hugging Face 模型页链接。适合在本地部署低比特量化大模型、关注量化后质量评估的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-26
原帖
Too good to be true? ISTA's GSQ-RCO 2-bit DeepSeek-V4.1-Flash scoring the same as the base model Has anyone tried ISTA's GSQ-RCO GGUFs for DeepSeek-V4.1-Flash? Does the quality feel as good as their benchmarks show (IQ2_XXS matching the base)?
中文大意
发帖人询问是否有人试过 ISTA 的 GSQ-RCO 版 DeepSeek-V4.1-Flash GGUF，尤其是 IQ2_XXS 是否真如官方基准所示与基座模型持平。他指出官方基准已饱和（普遍 90%+，AIME25 各版本均为 100），因此无法反映量化损失，而且找不到 GSQ-RCO 模型的 KLD 数据，于是想请人提供 KLD 或 PPL 实测，并问约 2 bpw 下合理的 KLD 预期是多少。适合关注本地量化、GGUF 部署与量化评测方法的人阅读。
讨论区核心观点
依据 40 条评论
- 官方基准已饱和/可能过拟合，只能显示很强的损伤；AIME25 得 100 说明基准没有余量，不代表与基座持平，需要非饱和基准、长上下文测试和独立 KLD 才能评估量化损失。 出处（新标签页打开）
- 这是 profile-based 量化，会针对特定使用画像校准，实际效果因任务而异；在调校集之外的任务上退化更明显，自称 Q2 像 Q3.5 的说法要按字面理解、别外推。 出处（新标签页打开）
- 实测者称 IQ2_XXS 未完全复现官方结果，但明显好于此前最好的 exllamav3 Q2，观感约相当于 Q3.5；在生成小游戏（吃豆人、俄罗斯方块）等任务上细节略少。 出处（新标签页打开）
- 有人用 2.25bpw 量化在 Project Maya 上运行，表现稳定，速度远好于 Strata（35-40 tps / 700pp 对 20 tps / 100pp），差异主要来自 drafter 实现；IQ2_XXS 在 5090 加 96GB 内存、200k 上下文下可跑到 25-30 tok/s 生成、600-800 tok/s PP。 出处（新标签页打开）
- 评价量化不应只看分数，还要看 token 用量：同分数下 KLD 更低的量化输出 token 少约 28%，等于推理成本更低，这是更实在的指标。 出处（新标签页打开）
- 模型本身是 763B 稀疏 MoE（每层 384 个路由专家），并非每层都是 2 bit 的动态码率量化，且用了 imatrix 最小化误差；模型越大受量化影响越小，这可以解释部分结果。另外下载时 Q4 文件是共享表或独立 n-gram/PLE 文件，需与其中一个量化文件一起使用。 出处（新标签页打开）