# Unsloth 的 LiveCodeBench 结果存在不一致 - 原标题：Inconsistencies in Unsloth's LiveCodeBench Results - 类型：帖子 - 来源：Reddit - 发布时间：2026-11-03 - 首次精选：2026-11-04 09:30 - 分级：值得看 - 是否付费：免费（公开帖子） - 预估学习时长：约 5 分钟（按全文字数估算） - 学习层级：深入 - 主题：[model-quantization]()（第 18 位）、[model-benchmarks]()（第 35 位） - 原文链接：[https://reddit.com/r/LocalLLaMA/comments/1xm9i4x/inconsistencies\_in\_unsloths\_livecodebench\_results]() - 本站页面：[https://oplearnx.com/resources/pk\_532c06e39f9e]() ## 摘要 这是一篇 Reddit r/LocalLLaMA 的社区帖子，作者对比 DeepSeek-V4.1-Flash-1017 的两张已发布基准图表，发现四个 Unsloth 量化版本和 Q8 基线在 LiveCodeBench v6 上同时提升约 2–3 个百分点，而 GSQ-RCO 结果变化较小且不一致。帖中列出各模型前后数值（如 IQ1\_S 从 88.95% 到 91.0%、Q8 基线从 88.95% 到 91.7%），指出旧数据对应 525 次结果（175 题 × 3 次生成），新方法报告每题 12 次生成即 2100 次结果，并据此反推新增 9 次生成所需达到的分数范围，再用单侧超几何检验讨论这一变化的统计概率。适合关注量化模型基准评测方法与数据一致性的人阅读。 ## 原帖 > All four Unsloth quantizations AND the Q8 baseline simultaneously improved by approximately 2–3 percentage points on LiveCodeBench v6. — Positive-Resource922 · 2026-11-03 · [原帖]() ## 中文大意 发帖人对比 Unsloth 公布的两版 DeepSeek-V4.1-Flash-1017 基准图表，发现四个 Unsloth 量化版本与 Q8 基线在 LiveCodeBench v6 上同步提升约 2–3 个百分点。第一版百分比恰好对应 525 次结果（175 题×3 代），更新版称每题 12 代即 2100 次；若原三次被包含其中，剩余九次的提升幅度会更大（表格列出各模型区间）。用单侧超几何检验估算各模型初始结果偏低的概率为 3.38%–0.262% 等，若独立相乘得约 1.24e-10 到 2.59e-10（约 39 亿到 80 亿分之一），作者也说明模型相关、需原始数据才严谨。GSQ-RCO 结果则不一致（−0.4、\+0.7、\+1.9）。发帖人引 Unsloth 团队称早期图只是一次运行、设置未变，但百分比恰好对应 525 次。讨论区核心是要求公开基准细节、以及讨论单次运行的误差… ## 讨论区核心观点 依据 23 条评论。 - 认为 2–3 个百分点波动属运行间噪声，不算显著；发帖人反驳说自己已做统计检验，显著性取决于样本量和运行次数。（[出处]()） - 关键症结在误差棒：Unsloth 图表的误差棒按单次运行绘制，但百分比却对应三次运行，这是问题根源；有人追问单次运行如何得到方差。（[出处]()） - 多名评论者要求发帖方公开自己的基准细节以便复现和核实，认为只指出对方数据不一致而不提供自测数据说明不了问题。（[出处]()） - 围绕复现难度争论：发帖人称跑基准代码只是一行、却又称对方故意选难复现的模型；有人反驳写代码容易、跑实验需要算力资源，且不少人具备相应硬件。（[出处]()） - 有评论建议发帖方用与 Unsloth 相同的方式跑一次对比评测来澄清争议；发帖人回应正在跑但资源不及对方。（[出处]()） - 量化对比只看通过率会掩盖问题：同 300 条提示下 Q4\_K\_M 出现 18 条无法解析的输出、Q8\_0 为 0，规则违规从 34 增至 50，格式合规性差异更值得关注。（[出处]()） --- 来源：LearnMap · 学径（https://oplearnx.com）