# Lean-QwenFlash：通过直读 NVMe SSD 卸载，在 16GB 显存和 8GB 内存上以约 20 tok/s 运行 Qwen3.8-Flash-Next（125B）

- 原标题：Lean-QwenFlash: Qwen3.8-Flash-Next \(125B\) running at \~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading
- 类型：帖子
- 来源：Reddit
- 发布时间：2026-10-25
- 首次精选：2026-10-26 15:47
- 分级：值得看
- 学习层级：进阶
- 主题：[inference-hardware-memory](<https://oplearnx.com/md/topics/inference-hardware-memory.md>)（第 5 位）、[moe-model-architecture](<https://oplearnx.com/md/topics/moe-model-architecture.md>)（第 8 位）、[local-model-deployment](<https://oplearnx.com/md/topics/local-model-deployment.md>)（第 13 位）
- 原文链接：[https://reddit.com/r/LocalLLaMA/comments/1xev6bo/leanqwenflash\_qwen38flashnext\_125b\_running\_at\_20](<https://reddit.com/r/LocalLLaMA/comments/1xev6bo/leanqwenflash_qwen38flashnext_125b_running_at_20>)
- 本站页面：[https://oplearnx.com/resources/pk\_bd507e3a9480](<https://oplearnx.com/resources/pk_bd507e3a9480>)

## 摘要

r/LocalLLaMA 社区帖子，作者介绍自己基于 sybil-solutions 的 glm-flash-lite 卸载思路改编出的 lean-qwenflash，让 125B 的 Qwen3.8-Flash-Next 在低内存机器上运行，而不是像 Strata 等方案那样把 24k 专家全部固定在系统内存中。帖中给出 RTX 4090（16GB 显存、8GB 系统内存）与 RTX 3080 笔记本（16GB 显存、32GB 内存）在 8k 至 262k 上下文的解码与预填充速度，并附 GitHub 仓库地址，包含安装说明、模型下载器与打包脚本。适合在低显存/低内存设备上尝试本地运行大模型的人关注。

## 原帖

> So I adapted that to the much lighter Qwen3.8 Flash Next model, and the results were pretty impressive.

— MaxDev0 · 2026-10-25 · [原帖](<https://reddit.com/r/LocalLLaMA/comments/1xev6bo/leanqwenflash_qwen38flashnext_125b_running_at_20>)

## 中文大意

发帖人 MaxDev0 把 glm-flash-lite 的 SSD 直读专家卸载思路移植到 Qwen3.8-Flash-Next（125B），让模型不必把 24k 专家全部固定在系统内存里（现有方案如 Strata 需约 48–64GB RAM），从而在普通机器和笔记本上运行。他给出基准：RTX 4090、仅分配 8GB 系统内存 \+ 16GB 显存（3.05bpw\_h5\_ng5、Q4 KV cache）下，8k 短上下文约 28–33 tok/s 散文、19–22 tok/s 代码，预填充约 1080 tok/s；100k 上下文解码 20.8 tok/s、预填充约 1536 tok/s；262k 满窗口解码 20.0 tok/s、预填充约 1627 tok/s。RTX 3080 笔记本（16GB 显存、32GB 内存）100k 上下文约 18–21 tok/s 解码、预填充约 65…

## 讨论区核心观点

依据 40 条评论。

- 有评论认为 Qwen3.8 Next 本身很强，已是自己写代码、做 agentic 任务的主力模型，且模型大部分可从 SSD 流式读取，不需要大内存；随着 SSD 变快，家用跑大模型可能越来越不依赖 RAM/VRAM。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xev6bo/leanqwenflash_qwen38flashnext_125b_running_at_20/19rmnzrksxxfn/>)）
- 关于 SSD 寿命：多数人认为读取几乎不损耗寿命，限制主要在写入次数和总写入量，有评论实测流式加载时总写入仅比系统空闲时每小时多几 MB，读带宽达 3GB/s。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xev6bo/leanqwenflash_qwen38flashnext_125b_running_at_20/19rnwfjhowfpg/>)）
- 有人质疑所借鉴的 sybil glm 仓库的 KL 散度测量：语料只有几千 token 的常识题（第一题问法国首都），连 1B 小模型都能答对，不足以说明量化质量；发帖人随后承认该批评有道理，表示会自行测试。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xev6bo/leanqwenflash_qwen38flashnext_125b_running_at_20/19rmoid85zq0x/>)）
- 硬件门槛讨论：有人 12GB\+8GB 双卡、6GB 显存或 AMD 显卡询问可行性，发帖人表示 16GB 显存并非硬性要求，只是自己图省事，欢迎他人适配并回报结果，但他对 6GB 显存的期望不高；README 要求栏写的是 Linux \+ NVIDIA。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xev6bo/leanqwenflash_qwen38flashnext_125b_running_at_20/19rmk8a55z69s/>)）
- 与 Strata/其他 fork 的对比：有评论称 Strata 加 --low-ram residents 也能在 16GB 显存 \+ 32GB 内存上跑 Q2\_0、128k Q8 KV，约 800 t/s 预填充、60–80 t/s 解码；也有人提到面向 Blackwell 的 basalt fork 用 IQ3\_XXS 更快、重复和过度思考更少。发帖人则建议内存充足者直接用 Strata。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xev6bo/leanqwenflash_qwen38flashnext_125b_running_at_20/19rmtqtwlxpc0/>)）
- 对 Q4 KV cache 质量有疑虑（认为 Q8 才该用），也有人希望把它移植到 llama.cpp 或改成纯 C\+\+ 去掉 Python；还有人对“低显存”的说法和商业动机持调侃或怀疑态度。（[出处](<https://www.reddit.com/r/LocalLLaMA/comments/1xev6bo/leanqwenflash_qwen38flashnext_125b_running_at_20/19rmr0i8ikadf/>)）

## 原文涉及

- [GitHub - sybil-solutions/glm-flash-lite: GLM-5.3-Flash EXL3 on one 24 GB RTX 3090 \+ DDR4: elastic GPU expert cache, zero-copy experts, AVX2 CPU tier, OpenAI API](<https://github.com/sybil-solutions/glm-flash-lite>)
- [GitHub - MaxDevv/lean-qwenflash: Qwen3.8-Flash-Next at full 262k context on 8 GB RAM and 16 GB VRAM—20 tok/s generation and 1,600 tok/s prefill.](<https://github.com/maxdevv/lean-qwenflash>)

---
来源：LearnMap · 学径（https://oplearnx.com）