学习选择推理硬件、估算显存和配置卸载，适合本地装机与性能调优者。
26 条精选 · 入门 3 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Questions about Qwen 3.5 4B and llamaparse
r/LocalLLaMA 上的一个求助帖，发帖者为附近实体店店主搭建一套包含员工出入记录、现金与发票、二维码扫描等功能的流程，主要顾虑是店主设备多为 16GB 内存、少数为 8GB，询问适合这类设备的本地模型，并考虑 Qwen 3.5 4B 用于简单的发票处理判断。发帖者原本想用云端解析工具 llamaparse 处理不同格式发票表格，也在询问其它本地替代方案。
Can I run qwen3.8-flash-next on 24gb vram and 48 ram?
r/LocalLLaMA 社区帖子。发帖者尝试运行一次失败，求问配置建议。评论中有人称在 12GB 显存 + 64GB 内存上能跑 IQ3_XXS；有人给出可完全放在内存中的 GGUF 链接、ngram 表放 SSD；有人称 IQ3_XXS 在 RTX 4090 + 48GB 内存上用 Strata 刚好装下、约 70t/s，但没有给其他程序留余量；还有人提到 32GB 显存 + 32GB 内存跑 swift IQ3_xxs 效果不错、升级到 48GB 内存后跑 IQ3_S，并建议用 Strata 自动检测机器并推荐量化版本。适合在消费级显存/内存条件下部署该模型、需要参考量化与放置方案的人阅读。
Have 8 GB of VRAM and 32 GB of RAM? You can run Qwen 3.8 Flash Next at up to 900 t/s PP and 30 t/s TG!
这是一篇经验分享帖，作者在 RTX 5060 笔记本 GPU（8GB 显存）、Ryzen 9 8945HX、32GB DDR5、1TB SSD 的 Linux 机器上，用 Strata 运行 Qwen 3.8 Flash Next Q2 量化版。作者称其基准与实测结果优于自己测过的 Qwen 3.6 35B A3B 微调版和 Qwen 3.8 27B，速度也快于现有 Qwen 3.6 35B A3B 配置，并说明 Strata 可将负载分布到显存、内存和 SSD。帖子提供了系统配置、Chat 与 Agentic 两套 Strata 配置文件链接及运行指引。适合显存有限、想自行部署本地模型的人阅读。
8 GB GPU, 262K context 3.5 BPW Qwen-Flash-Next Coder 70 T/s using llama.cpp
r/LocalLLaMA 的一篇社区帖子。作者介绍其做法：Qwen-Flash-Next 有 n-gram 和 MOE，激活参数为 6B，因此把大部分 MOE 放在内存、最小的 MOE 放进显存以提速、n-gram 放在最快的 SSD 上；配置为 8 GB 显存加 24 GB 内存，约 32 GB 总内存也能运行但需降低上下文长度，并需按硬件调整启动参数。帖子补充说明 CUDA 在 8 GB 显存下可能跑不起来，建议改用 Vulkan 后端，同时减小上下文并关闭浏览器硬件加速等占用显存的程序。作者还说明所用模型是 ISTA DASLab 的 3.5 BPW “Coder”变体、采用 GSQ RCO 量化，移除了一半专家，折算为原模型参数量的 1.89 比特有效速率，但没有任何单个权重以 1.89 比特存储。适合用 llama.cpp 在低显存消费级硬件上部署量化 MoE 模型的人阅读。
Lean-QwenFlash: Qwen3.8-Flash-Next (125B) running at ~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading
r/LocalLLaMA 社区帖子，作者介绍自己基于 sybil-solutions 的 glm-flash-lite 卸载思路改编出的 lean-qwenflash，让 125B 的 Qwen3.8-Flash-Next 在低内存机器上运行，而不是像 Strata 等方案那样把 24k 专家全部固定在系统内存中。帖中给出 RTX 4090（16GB 显存、8GB 系统内存）与 RTX 3080 笔记本（16GB 显存、32GB 内存）在 8k 至 262k 上下文的解码与预填充速度，并附 GitHub 仓库地址，包含安装说明、模型下载器与打包脚本。适合在低显存/低内存设备上尝试本地运行大模型的人关注。
Suggestion for running Qwen3.8 FN local
r/LocalLLaMA 的社区帖子，作者列出可用硬件：两张 24GB 的 3090（已解锁）、一张 16GB 的 4070 Ti Super（已解锁）、18 核 CPU、130GB DDR4 内存和 1TB NVMe。帖子记录其运行 Qwen3.8FN 的速度：仅用 4070 Ti 加 NVMe 约 8–9 T/s，仅从 NVMe 运行约 2 T/s，三张 GPU 加内存一起跑约 18 T/s，并询问在不买新硬件的前提下如何提高速度。适合用多卡消费级显卡跑本地大模型、关注推理速度调优的人阅读。
Is it possible to configure TabbyAPI to be like Strata for Qwen 3.8 Flash Next exl3?
r/LocalLLaMA 社区帖子，发帖人听说 exl3 量化比 Unsloth 的 UD 量化更精确，并给出 Hugging Face 上 Qwen3.8-Flash-Next exl3 版本的链接。他提到 TabbyAPI 和 Exllamav3 已支持 MoE 的 CPU 专家卸载，自己用 UD Q4 能跑到 70+ t/s，但按 q4 加卸载配置 TabbyAPI 只得到 20 t/s，询问是否只是配置问题、速度能否接近 Strata。补充说明中引用了 TabbyAPI 的 cpu_moe_split_experts 选项（把每层 MoE 的部分路由专家放到 CPU、按冷热动态放置）正是他达到 20 t/s 时用的设置，并猜测 Strata 可能用了别的 gguf 优化。适合在本地部署量化 MoE 模型、折腾 TabbyAPI/Exllama 配置与推理速度的人阅读。
RTX PRO 4000 Blackwell SFF: +67% generation on Qwen3.8 27B, different scaling on Qwen3.6 35B A3B
这是 Reddit r/LocalLLaMA 上的一则本地推理实验记录。作者在单张 RTX PRO 4000 Blackwell SFF（24GB GDDR7、出厂 70W、无辅助供电接口）上，通过加载修改后的 VBIOS 将功耗上限提高到 120W，并测试显存与核心偏移，未刷写 EEPROM 或焊接。共 158 次基准请求，测试 Qwen3.8 27B（DFlash2）与 Qwen3.6 35B A3B：27B 在 120W 并调校后生成速度从 35.04 tok/s 升至 58.53 tok/s（+67%），而 35B A3B 在 106W 至 120W 之间几乎持平；显存偏移对两者影响不同，prefill 变化很小。适合关注本地推理性能调优的读者。
Monolithic ddr3 server
r/LocalLLaMA 社区帖子。发帖者询问是否有人用类似机器做大模型推理，并附一台本地售价 550 美元的 Dell PowerEdge R820 配置：4× Xeon E5-4640（2.40–2.80GHz）、768GB ECC 内存（每条约 16GB）、2× 146GB 硬盘。其提到 DeepSeek 的激活参数已降到 8/16B，想了解再加一张 GPU 是否可行，并说明兴趣主要来自那些声称能在消费级桌面机上高速运行大型 MoE 模型的新项目。适合考虑用退役服务器大内存平台跑大模型、尤其是 MoE 模型的人阅读。
For £1000 what is the meta for a local LLM rig?
r/LocalLLaMA 的社区帖子，作者询问含主机在内的 1000 英镑预算下本地大模型机器的常见配置，表示不太在意新硬件特性和能耗，只看重算力和智能水平。评论区中一位回复者分享了自己的方案及欧盟价格：两张 3060 12GB 约 400–500 欧元、64GB DDR4 内存 200–300 欧元、Ryzen 3600 60 欧元、AM4 主板 100 欧元、机箱与电源 100 欧元、若干 SATA 固态约 100 欧元，合计约 960–1160 欧元，多为二手件，显存加内存共 88GB，并建议直接上 5700x–5800x；同时指出升级到 128GB 因 32GB 内存条稀少而昂贵、预填充速度约 700 tps 等局限。适合预算有限、准备自行组装本地推理机器的人阅读。
$10–12K build for local agentic coding: 1× 5090 vs 4× 3090 vs hybrid vs PRO 6000 vs Mac Studio?
r/LocalLLaMA 社区帖子。发帖者准备花约 1 万美元（必要时到 1.2 万）买硬件做本地 agentic coding，用途包括 agentic coding、偶尔 2–4 个并行 subagent 和逆向工程，可选需求是用 Hunyuan3D-2.1 做贴图生成（需 CUDA 和约 21GB 显存）。其列出正在考虑的方案：单张 RTX 5090、四张二手 3090、5090 + 2×3090 混合、Mac Studio M5 Ultra 256GB、超预算的 PRO 6000，并就长上下文中单 5090 与四 3090 的日常体验、3090 长上下文预填充表现、混合方案在 AM5 上以 x8/x8/x4 跑两个 vLLM 实例是否值得、以及是否该等 50 Super 或改装 4090 48GB 等问题征询意见。适合正在规划本地多卡推理/编码 agent 装机的人阅读。
I tested Strata's routing optimizations with Qwen 3.8FN IQ3_S in coding, math, and instruction following
这是 r/LocalLLaMA 的一篇社区帖子，作者在自有机器的 Qwen 3.8 Flash Next IQ3_S 上测试 Strata 0.2.7.1 版本的两项路由优化。STRATA_ROUTE_PRIOR 会给已缓存于显存的专家加 1.5 的分数加成（约 4.48 倍有效系数），使分数接近时可用缓存中的专家替换原本会选中的专家；STRATA_ROUTE_TAIL_SKIP=7（默认值）则在某些专家不在显存时跳过第 7 至第 10 个专家的计算，从而丢弃次要专家的贡献。帖子给出关闭两项、仅尾跳、仅路由优先、两者同开四种配置在 IFEvalCode、AIME 2026、IFEval 上的解码速度与得分表格，并说明第二轮用更大思考预算重跑了首轮答案不同的题目。适合在本地运行 MoE 模型、关心显存受限下路由与专家缓存取舍的人阅读。
RTX 3080 20GB got reBAR and P2P unlock! +70% prompt processing speed
帖子称 RTX 3080 20GB 的 P2P 已解锁，在张量并行模式下提示处理速度大幅提升；发帖人转述原作者 u/nathannguyennng 的工作，并给出自己的测试环境（Proxmox 上双 RTX 3080 20GB、vllm 0.32.0、INT4 量化模型、张量并行等）以及原装、gpu-unlock、gpu-unlock+ReBAR+P2P 三种配置的对比。适合在本地多卡上运行大模型、关注vLLM 推理性能调优的人阅读。
Practical notes on setting up a GPU kernel-dev environment: CUDA 13's GPU cutoff, async timing pitfalls, profiler counter permissions [P]
一篇 r/MachineLearning 社区帖子，作者在准备自己的 GPU kernel 工程系列第一节环境配置时，整理了若干耗时且不易集中查到的要点。内容包括用 compute_cap 判断显卡架构、CUDA 13 已不再支持 Maxwell/Pascal/Volta、GTX 16 系无张量核心、FP8 需 Ada 或 Hopper；还说明驱动、工具链与 PyTorch 自带 CUDA 运行时是三件不同的事，以及 WSL 2 中的安装方式，并提到 GPU 启动异步导致朴素计时测到的是排队时间。适合刚开始做 CUDA kernel 开发、正在配置环境的人阅读。
I built a PyTorch optimizer for large GPU workloads — looking for feedback[P]
这是 r/MachineLearning 的一篇社区帖子（[P] 表示项目分享），作者介绍自己开发的 PyTorch 优化器 ApexW，目标是降低优化器状态显存占用并加快较大 GPU 工作负载上的优化器更新步骤，做法是紧凑的优化器状态加一条基于 Triton 的执行路径。作者称在只有几个大张量时的优化器单项基准中，Triton 加紧凑状态路径比 PyTorch 的 fused AdamW 快约 1.5 倍，优化器状态显存约减半；同时说明自动执行模式尚未稳定取得同样加速，含大量小张量的负载明显慢于 PyTorch fused 优化器（例如 1.28 亿参数分散在众多小张量时，PyTorch 原生为 16.1 ms/步），并强调这些数字来自优化器单项测试而非完整模型训练，希望有人在实现与基准测试上把关。适合从事 PyTorch 训练优化、关注优化器状态显存与 Triton 内核实现的人阅读。