# 好得不像真的？ISTA 的 GSQ-RCO 2-bit DeepSeek-V4.1-Flash 得分与基座模型相同

- 原标题：Too good to be true? ISTA's GSQ-RCO 2-bit DeepSeek-V4.1-Flash scoring the same as the base model
- 类型：帖子
- 来源：Reddit
- 发布时间：2026-10-25
- 首次精选：2026-10-26 15:47
- 分级：值得看
- 学习层级：进阶
- 主题：[model-quantization](<https://oplearnx.com/md/topics/model-quantization.md>)（第 7 位）、[local-model-deployment](<https://oplearnx.com/md/topics/local-model-deployment.md>)（第 20 位）、[model-benchmarks](<https://oplearnx.com/md/topics/model-benchmarks.md>)（第 55 位）
- 原文链接：[https://reddit.com/r/LocalLLaMA/comments/1xes5x0/too\_good\_to\_be\_true\_istas\_gsqrco\_2bit](<https://reddit.com/r/LocalLLaMA/comments/1xes5x0/too_good_to_be_true_istas_gsqrco_2bit>)
- 本站页面：[https://oplearnx.com/resources/pk\_aa8c32b89f0e](<https://oplearnx.com/resources/pk_aa8c32b89f0e>)

## 摘要

r/LocalLLaMA 的一篇社区帖子。作者询问是否有人试过 ISTA 为 DeepSeek-V4.1-Flash 发布的 GSQ-RCO GGUF 量化模型，以及实际质量是否与榜单成绩相符（IQ2\_XXS 与基座持平）。作者指出其基准已饱和（90% 以上，AIME25 各版本均为 100），可能无法体现性能退化，也找不到 GSQ-RCO 模型的 KLD 数据，因此询问是否有人测过 KLD 或 PPL，以及在约 2 bpw 下预期的 KLD 是多少，并附上 Hugging Face 模型页链接。适合在本地部署低比特量化大模型、关注量化后质量评估的人阅读。

## 原帖

> Too good to be true? ISTA's GSQ-RCO 2-bit DeepSeek-V4.1-Flash scoring the same as the base model Has anyone tried ISTA's GSQ-RCO GGUFs for DeepSeek-V4.1-Flash? Does the quality feel as good as their benchmarks show \(IQ2\_XXS matching the base\)?

— Queasy\_Back2588 · 2026-10-25 · [原帖](<https://reddit.com/r/LocalLLaMA/comments/1xes5x0/too_good_to_be_true_istas_gsqrco_2bit>)

## 中文大意

发帖人询问是否有人试过 ISTA 的 GSQ-RCO 版 DeepSeek-V4.1-Flash GGUF，尤其是 IQ2\_XXS 是否真如官方基准所示与基座模型持平。他指出官方基准已饱和（普遍 90%\+，AIME25 各版本均为 100），因此无法反映量化损失，而且找不到 GSQ-RCO 模型的 KLD 数据，于是想请人提供 KLD 或 PPL 实测，并问约 2 bpw 下合理的 KLD 预期是多少。适合关注本地量化、GGUF 部署与量化评测方法的人阅读。

## 讨论区核心观点

依据 40 条评论。

- 官方基准已饱和/可能过拟合，只能显示很强的损伤；AIME25 得 100 说明基准没有余量，不代表与基座持平，需要非饱和基准、长上下文测试和独立 KLD 才能评估量化损失。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xes5x0/too_good_to_be_true_istas_gsqrco_2bit/19rmiqso6x7fl/>)）
- 这是 profile-based 量化，会针对特定使用画像校准，实际效果因任务而异；在调校集之外的任务上退化更明显，自称 Q2 像 Q3.5 的说法要按字面理解、别外推。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xes5x0/too_good_to_be_true_istas_gsqrco_2bit/19rmvq0dd2uw5/>)）
- 实测者称 IQ2\_XXS 未完全复现官方结果，但明显好于此前最好的 exllamav3 Q2，观感约相当于 Q3.5；在生成小游戏（吃豆人、俄罗斯方块）等任务上细节略少。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xes5x0/too_good_to_be_true_istas_gsqrco_2bit/19rm6yk3n8ag2/>)）
- 有人用 2.25bpw 量化在 Project Maya 上运行，表现稳定，速度远好于 Strata（35-40 tps / 700pp 对 20 tps / 100pp），差异主要来自 drafter 实现；IQ2\_XXS 在 5090 加 96GB 内存、200k 上下文下可跑到 25-30 tok/s 生成、600-800 tok/s PP。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xes5x0/too_good_to_be_true_istas_gsqrco_2bit/19rmi4noxydic/>)）
- 评价量化不应只看分数，还要看 token 用量：同分数下 KLD 更低的量化输出 token 少约 28%，等于推理成本更低，这是更实在的指标。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xes5x0/too_good_to_be_true_istas_gsqrco_2bit/19rm8bcb986w2/>)）
- 模型本身是 763B 稀疏 MoE（每层 384 个路由专家），并非每层都是 2 bit 的动态码率量化，且用了 imatrix 最小化误差；模型越大受量化影响越小，这可以解释部分结果。另外下载时 Q4 文件是共享表或独立 n-gram/PLE 文件，需与其中一个量化文件一起使用。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xes5x0/too_good_to_be_true_istas_gsqrco_2bit/19rmyihjfjhes/>)）

---
来源：LearnMap · 学径（https://oplearnx.com）