Lean-QwenFlash：通过直读 NVMe SSD 卸载，在 16GB 显存和 8GB 内存上以约 20 tok/s 运行 Qwen3.8-Flash-Next（125B）
Lean-QwenFlash: Qwen3.8-Flash-Next (125B) running at ~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading
r/LocalLLaMA 社区帖子，作者介绍自己基于 sybil-solutions 的 glm-flash-lite 卸载思路改编出的 lean-qwenflash，让 125B 的 Qwen3.8-Flash-Next 在低内存机器上运行，而不是像 Strata 等方案那样把 24k 专家全部固定在系统内存中。帖中给出 RTX 4090（16GB 显存、8GB 系统内存）与 RTX 3080 笔记本（16GB 显存、32GB 内存）在 8k 至 262k 上下文的解码与预填充速度，并附 GitHub 仓库地址，包含安装说明、模型下载器与打包脚本。适合在低显存/低内存设备上尝试本地运行大模型的人关注。
- 分级
- 值得看
- 收录时间
- 2026-10-26
原帖
So I adapted that to the much lighter Qwen3.8 Flash Next model, and the results were pretty impressive.
中文大意
发帖人 MaxDev0 把 glm-flash-lite 的 SSD 直读专家卸载思路移植到 Qwen3.8-Flash-Next（125B），让模型不必把 24k 专家全部固定在系统内存里（现有方案如 Strata 需约 48–64GB RAM），从而在普通机器和笔记本上运行。他给出基准：RTX 4090、仅分配 8GB 系统内存 + 16GB 显存（3.05bpw_h5_ng5、Q4 KV cache）下，8k 短上下文约 28–33 tok/s 散文、19–22 tok/s 代码，预填充约 1080 tok/s；100k 上下文解码 20.8 tok/s、预填充约 1536 tok/s；262k 满窗口解码 20.0 tok/s、预填充约 1627 tok/s。RTX 3080 笔记本（16GB 显存、32GB 内存）100k 上下文约 18–21 tok/s 解码、预填充约 65…
讨论区核心观点
依据 40 条评论
- 有评论认为 Qwen3.8 Next 本身很强，已是自己写代码、做 agentic 任务的主力模型，且模型大部分可从 SSD 流式读取，不需要大内存；随着 SSD 变快，家用跑大模型可能越来越不依赖 RAM/VRAM。 出处（新标签页打开）
- 关于 SSD 寿命：多数人认为读取几乎不损耗寿命，限制主要在写入次数和总写入量，有评论实测流式加载时总写入仅比系统空闲时每小时多几 MB，读带宽达 3GB/s。 出处（新标签页打开）
- 有人质疑所借鉴的 sybil glm 仓库的 KL 散度测量：语料只有几千 token 的常识题（第一题问法国首都），连 1B 小模型都能答对，不足以说明量化质量；发帖人随后承认该批评有道理，表示会自行测试。 出处（新标签页打开）
- 硬件门槛讨论：有人 12GB+8GB 双卡、6GB 显存或 AMD 显卡询问可行性，发帖人表示 16GB 显存并非硬性要求，只是自己图省事，欢迎他人适配并回报结果，但他对 6GB 显存的期望不高；README 要求栏写的是 Linux + NVIDIA。 出处（新标签页打开）
- 与 Strata/其他 fork 的对比：有评论称 Strata 加 --low-ram residents 也能在 16GB 显存 + 32GB 内存上跑 Q2_0、128k Q8 KV，约 800 t/s 预填充、60–80 t/s 解码；也有人提到面向 Blackwell 的 basalt fork 用 IQ3_XXS 更快、重复和过度思考更少。发帖人则建议内存充足者直接用 Strata。 出处（新标签页打开）
- 对 Q4 KV cache 质量有疑虑（认为 Q8 才该用），也有人希望把它移植到 llama.cpp 或改成纯 C++ 去掉 Python；还有人对“低显存”的说法和商业动机持调侃或怀疑态度。 出处（新标签页打开）