# LFM3-1.7B 量化报告：3.6 GB 显存无损；2.2 GB 有适度性能下降 - 原标题：LFM3-1.7B quantization report: 3.6 GB VRAM lossless; 2.2 GB with modest degradation - 类型：帖子 - 来源：Reddit - 发布时间：2026-11-03 - 首次精选：2026-11-04 09:30 - 分级：值得看 - 是否付费：免费（公开帖子） - 预估学习时长：约 3 分钟（按全文字数估算） - 学习层级：进阶 - 主题：[model-quantization]()（第 6 位）、[inference-hardware-memory]()（第 14 位） - 原文链接：[https://reddit.com/r/LocalLLaMA/comments/1xme6c5/lfm317b\_quantization\_report\_36\_gb\_vram\_lossless]() - 本站页面：[https://oplearnx.com/resources/pk\_ccf2969601da]() ## 摘要 这是一篇 Reddit r/LocalLLaMA 的社区帖子，作者发布 LFM3-1.7B 的量化测试报告：约 3.6 GB 显存的量化接近无损，2.2 GB 版本则有适度性能下降。帖中引用 LiquidAI 官方基准称该模型各项得分高于 MiniCPM5-2B，同时上下文长度为其两倍、显存占用约一半（3.6 GiB 对 7.1 GiB）。帖子附有 GitHub 上的 perplexity 报告 README 和可交互 HTML 图表链接。适合关注小参数模型量化、显存占用与困惑度评测的人阅读。 ## 原帖 > According to LiquidAI's own benchmarks, it scores higher than MiniCPM5-2B across the board, while offering 2x the context and taking up half the space in VRAM \(3.6 GiB vs. 7.1 GiB for a quasi-lossless quant\). — crusaderky · 2026-11-03 · [原帖]() ## 中文大意 发帖人 crusaderky 发布 LFM3-1.7B 的量化测试报告：引用 LiquidAI 自家基准，称该模型全面超过 MiniCPM5-2B，上下文翻倍而显存占用减半（准无损量化 3.6 GiB，对比对方 7.1 GiB）；2.2 GB 版本仅有轻微退化。帖子给出 GitHub README 报告链接和可交互 HTML 图表链接。讨论区追问 3.6 GB 是否含 KV cache、是否评估 KLD 而非单纯困惑度，发帖人回复称总数为权重\+256k KV cache\+缓冲（CUDA），并表示自己看的是 KLD 和相关 PPL，绝对/相对 PPL 无意义；有用户在其他 harness 上给出对比结果，认为 LFM3 在长上下文上有优势，也有人对其效果不以为然。适合关注小模型量化、本地部署显存预算的读者。 ## 讨论区核心观点 依据 11 条评论。 - 3.6 GB 数字包含权重、256k KV cache 以及（CUDA 上的）缓冲，标题中的总量还包含缓冲，但不含 llamacpp 在 SoC 上变得相关的基础系统内存占用。（[出处]()） - 评估应以 KLD 和相关 PPL 为准，绝对、增量、相对 PPL 都没有价值。（[出处]()） - 在另一套 harness 上的对比显示 LFM3 在长上下文方面确实有优势。（[出处]()） - 有用户持保留态度，觉得没有被打动，但承认可能是自己的问题。（[出处]()） - 有用户纠结选 Q6\_K\_S 还是完整 BF16；发帖人认为完全没必要用 bf16，那么大的 KLD 降幅在实际使用中无法测量。（[出处]()） - 有人调侃图表看起来像 AI 概念股走势；也有人质疑为何还要把 1.7B 这么小的模型继续压得更小。（[出处]()） ## 原文涉及 - [pixi-llm-recipes/perplexity/LFM3-1.7B/README.md at main · crusaderky/pixi-llm-recipes]() --- 来源：LearnMap · 学径（https://oplearnx.com）