只有 8GB 显存和 32GB 内存？你也能以最高 900 t/s PP 和 30 t/s TG 运行 Qwen 3.8 Flash Next
Have 8 GB of VRAM and 32 GB of RAM? You can run Qwen 3.8 Flash Next at up to 900 t/s PP and 30 t/s TG!
这是一篇经验分享帖，作者在 RTX 5060 笔记本 GPU（8GB 显存）、Ryzen 9 8945HX、32GB DDR5、1TB SSD 的 Linux 机器上，用 Strata 运行 Qwen 3.8 Flash Next Q2 量化版。作者称其基准与实测结果优于自己测过的 Qwen 3.6 35B A3B 微调版和 Qwen 3.8 27B，速度也快于现有 Qwen 3.6 35B A3B 配置，并说明 Strata 可将负载分布到显存、内存和 SSD。帖子提供了系统配置、Chat 与 Agentic 两套 Strata 配置文件链接及运行指引。适合显存有限、想自行部署本地模型的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-26
原帖
First, this isn’t clickbait - these are real results. I managed to run Qwen 3.8 Flash Next Q2 and got better results in benchmarks and real-world tests than I did with any Qwen 3.6 35B A3B fine-tune or Qwen 3.8 27B model I tested.
中文大意
发帖人在 RTX 5060 笔记本（8GB 显存）、Ryzen 9 8945HX、32GB DDR5-5200、1TB 固态、Linux 的机器上，用 Strata 跑起 Qwen 3.8 Flash Next 的 Gyro S 量化版。他给出配置要点：--mmap-experts 把专家放到 SSD、--kv-resident 20480 在显存和内存间分配 KV 缓存、--vram-reserve-mib 500–900、--pcie-frac 0.35（可用 --calibrate 校准）、STRATA_RESIDENT_HEADROOM_GIB=4；提升最大的是后两个参数。他不开 MTP、把 Vision 放 CPU 跑（每张图 1–2 秒）。多会话场景不要用 --parallel，改用 --conversation-cache 及 --conversation-cache-mi…
讨论区核心观点
依据 40 条评论
- “不要低于 Q4 量化”的说法已经过时：大模型对量化更耐受，量化技术也在进步，发帖人和多位回复者都表示低比特量化效果好于预期。 出处（新标签页打开）
- 量化对小模型伤害更大，对 MoE 尤其明显；但也有人认为 125B 这样的大模型被量化打得不重，用 IQ3 甚至能和线上模型比。 出处（新标签页打开）
- Strata 的思路是把常用专家留在显存、内存放可能用到的、其余放 SSD，所以切换话题不多时收益最大；一旦需要读 SSD 就成了瓶颈。 出处（新标签页打开）
- 不少人被帖子和评论说服去试 Strata，报告在 3090 等配置上获得极高解码速度，并认为 Qwen 3.8 Flash Next 明显强于 35B A3B，后者像玩具。 出处（新标签页打开）
- 也有人实测后不买账，认为 IQ3_S 虽快但会犯 27B 5.00bpw 不会犯的明显错误。 出处（新标签页打开）
- 讨论转向宝塔/鹈鹕这类测试本身的用途：主要用于考察空间推理和创造力，可作为 3D 能力的代理指标；有人索要提示词并分享自己的耗时与速度。 出处（新标签页打开）