Unsloth 的 LiveCodeBench 结果存在不一致
Inconsistencies in Unsloth's LiveCodeBench Results
这是一篇 Reddit r/LocalLLaMA 的社区帖子，作者对比 DeepSeek-V4.1-Flash-1017 的两张已发布基准图表，发现四个 Unsloth 量化版本和 Q8 基线在 LiveCodeBench v6 上同时提升约 2–3 个百分点，而 GSQ-RCO 结果变化较小且不一致。帖中列出各模型前后数值（如 IQ1_S 从 88.95% 到 91.0%、Q8 基线从 88.95% 到 91.7%），指出旧数据对应 525 次结果（175 题 × 3 次生成），新方法报告每题 12 次生成即 2100 次结果，并据此反推新增 9 次生成所需达到的分数范围，再用单侧超几何检验讨论这一变化的统计概率。适合关注量化模型基准评测方法与数据一致性的人阅读。
- 分级
- 值得看
- 是否付费
- 免费公开帖子
- 预估学习时长
- 约 5 分钟按全文字数估算
- 收录时间
- 2026-11-04
原帖
All four Unsloth quantizations AND the Q8 baseline simultaneously improved by approximately 2–3 percentage points on LiveCodeBench v6.
中文大意
发帖人对比 Unsloth 公布的两版 DeepSeek-V4.1-Flash-1017 基准图表，发现四个 Unsloth 量化版本与 Q8 基线在 LiveCodeBench v6 上同步提升约 2–3 个百分点。第一版百分比恰好对应 525 次结果（175 题×3 代），更新版称每题 12 代即 2100 次；若原三次被包含其中，剩余九次的提升幅度会更大（表格列出各模型区间）。用单侧超几何检验估算各模型初始结果偏低的概率为 3.38%–0.262% 等，若独立相乘得约 1.24e-10 到 2.59e-10（约 39 亿到 80 亿分之一），作者也说明模型相关、需原始数据才严谨。GSQ-RCO 结果则不一致（−0.4、+0.7、+1.9）。发帖人引 Unsloth 团队称早期图只是一次运行、设置未变，但百分比恰好对应 525 次。讨论区核心是要求公开基准细节、以及讨论单次运行的误差…
讨论区核心观点
依据 23 条评论
- 认为 2–3 个百分点波动属运行间噪声，不算显著；发帖人反驳说自己已做统计检验，显著性取决于样本量和运行次数。 出处（新标签页打开）
- 关键症结在误差棒：Unsloth 图表的误差棒按单次运行绘制，但百分比却对应三次运行，这是问题根源；有人追问单次运行如何得到方差。 出处（新标签页打开）
- 多名评论者要求发帖方公开自己的基准细节以便复现和核实，认为只指出对方数据不一致而不提供自测数据说明不了问题。 出处（新标签页打开）
- 围绕复现难度争论：发帖人称跑基准代码只是一行、却又称对方故意选难复现的模型；有人反驳写代码容易、跑实验需要算力资源，且不少人具备相应硬件。 出处（新标签页打开）
- 有评论建议发帖方用与 Unsloth 相同的方式跑一次对比评测来澄清争议；发帖人回应正在跑但资源不及对方。 出处（新标签页打开）
- 量化对比只看通过率会掩盖问题：同 300 条提示下 Q4_K_M 出现 18 条无法解析的输出、Q8_0 为 0，规则违规从 34 增至 50，格式合规性差异更值得关注。 出处（新标签页打开）