LFM3-1.7B 量化报告：3.6 GB 显存无损；2.2 GB 有适度性能下降
LFM3-1.7B quantization report: 3.6 GB VRAM lossless; 2.2 GB with modest degradation
这是一篇 Reddit r/LocalLLaMA 的社区帖子，作者发布 LFM3-1.7B 的量化测试报告：约 3.6 GB 显存的量化接近无损，2.2 GB 版本则有适度性能下降。帖中引用 LiquidAI 官方基准称该模型各项得分高于 MiniCPM5-2B，同时上下文长度为其两倍、显存占用约一半（3.6 GiB 对 7.1 GiB）。帖子附有 GitHub 上的 perplexity 报告 README 和可交互 HTML 图表链接。适合关注小参数模型量化、显存占用与困惑度评测的人阅读。
- 分级
- 值得看
- 是否付费
- 免费公开帖子
- 预估学习时长
- 约 3 分钟按全文字数估算
- 收录时间
- 2026-11-04
原帖
According to LiquidAI's own benchmarks, it scores higher than MiniCPM5-2B across the board, while offering 2x the context and taking up half the space in VRAM (3.6 GiB vs. 7.1 GiB for a quasi-lossless quant).
中文大意
发帖人 crusaderky 发布 LFM3-1.7B 的量化测试报告：引用 LiquidAI 自家基准，称该模型全面超过 MiniCPM5-2B，上下文翻倍而显存占用减半（准无损量化 3.6 GiB，对比对方 7.1 GiB）；2.2 GB 版本仅有轻微退化。帖子给出 GitHub README 报告链接和可交互 HTML 图表链接。讨论区追问 3.6 GB 是否含 KV cache、是否评估 KLD 而非单纯困惑度，发帖人回复称总数为权重+256k KV cache+缓冲（CUDA），并表示自己看的是 KLD 和相关 PPL，绝对/相对 PPL 无意义；有用户在其他 harness 上给出对比结果，认为 LFM3 在长上下文上有优势，也有人对其效果不以为然。适合关注小模型量化、本地部署显存预算的读者。
讨论区核心观点
依据 11 条评论
- 3.6 GB 数字包含权重、256k KV cache 以及（CUDA 上的）缓冲，标题中的总量还包含缓冲，但不含 llamacpp 在 SoC 上变得相关的基础系统内存占用。 出处（新标签页打开）
- 评估应以 KLD 和相关 PPL 为准，绝对、增量、相对 PPL 都没有价值。 出处（新标签页打开）
- 在另一套 harness 上的对比显示 LFM3 在长上下文方面确实有优势。 出处（新标签页打开）
- 有用户持保留态度，觉得没有被打动，但承认可能是自己的问题。 出处（新标签页打开）
- 有用户纠结选 Q6_K_S 还是完整 BF16；发帖人认为完全没必要用 bf16，那么大的 KLD 降幅在实际使用中无法测量。 出处（新标签页打开）
- 有人调侃图表看起来像 AI 概念股走势；也有人质疑为何还要把 1.7B 这么小的模型继续压得更小。 出处（新标签页打开）