# 硬件与显存规划 学习选择推理硬件、估算显存和配置卸载，适合本地装机与性能调优者。 - 所属：[部署与推理优化]() - 网站：[https://oplearnx.com/topics/inference-hardware-memory]() ## 推荐学习顺序 1. [关于 Qwen 3.5 4B 和 llamaparse 的问题]()（帖子 · 入门）：r/LocalLLaMA 上的一个求助帖，发帖者为附近实体店店主搭建一套包含员工出入记录、现金与发票、二维码扫描等功能的流程，主要顾虑是店主设备多为 16GB 内存、少数为 8GB，询问适合这类设备的本地模型，并考虑 Qwen 3.5 4B 用于简单的发票处理判断。发帖者原本想用云端解析工具 llamaparse 处理不同格式发票表格，也在询问其它本地替代方案。 2. [24GB 显存 \+ 48GB 内存能跑 qwen3.8-flash-next 吗？]()（帖子 · 入门）：r/LocalLLaMA 社区帖子。发帖者尝试运行一次失败，求问配置建议。评论中有人称在 12GB 显存 \+ 64GB 内存上能跑 IQ3\_XXS；有人给出可完全放在内存中的 GGUF 链接、ngram 表放 SSD；有人称 IQ3\_XXS 在 RTX 4090 \+ 48GB 内存上用 Strata 刚好装下、约 70t/s，但没有给其他程序留余量；还有人提到 32GB 显存 \+ 32GB 内存跑 swift IQ3\_xxs 效果不错、升级到 48GB 内存后跑 IQ3\_S，并建议用 Strata 自动检测机器并推荐量化版本。适合在消费级显存/内存条件下部署该模型、需要参考量化与放置方案的人阅读。 3. [只有 8GB 显存和 32GB 内存？你也能以最高 900 t/s PP 和 30 t/s TG 运行 Qwen 3.8 Flash Next]()（帖子 · 进阶）：这是一篇经验分享帖，作者在 RTX 5060 笔记本 GPU（8GB 显存）、Ryzen 9 8945HX、32GB DDR5、1TB SSD 的 Linux 机器上，用 Strata 运行 Qwen 3.8 Flash Next Q2 量化版。作者称其基准与实测结果优于自己测过的 Qwen 3.6 35B A3B 微调版和 Qwen 3.8 27B，速度也快于现有 Qwen 3.6 35B A3B 配置，并说明 Strata 可将负载分布到显存、内存和 SSD。帖子提供了系统配置、Chat 与 Agentic 两套 Strata 配置文件链接及运行指引。适合显存有限、想自行部署本地模型的人阅读。 4. [8 GB 显卡、262K 上下文、3.5 BPW 的 Qwen-Flash-Next Coder，用 llama.cpp 达到 70 T/s]()（帖子 · 进阶）：r/LocalLLaMA 的一篇社区帖子。作者介绍其做法：Qwen-Flash-Next 有 n-gram 和 MOE，激活参数为 6B，因此把大部分 MOE 放在内存、最小的 MOE 放进显存以提速、n-gram 放在最快的 SSD 上；配置为 8 GB 显存加 24 GB 内存，约 32 GB 总内存也能运行但需降低上下文长度，并需按硬件调整启动参数。帖子补充说明 CUDA 在 8 GB 显存下可能跑不起来，建议改用 Vulkan 后端，同时减小上下文并关闭浏览器硬件加速等占用显存的程序。作者还说明所用模型是 ISTA DASLab 的 3.5 BPW “Coder”变体、采用 GSQ RCO 量化，移除了一半专家，折算为原模型参数量的 1.89 比特有效速率，但没有任何单个权重以 1.89 比特存储。适合用 llama.cpp 在低显存消费级硬件上部署量化 MoE 模型的人阅读。 5. [Lean-QwenFlash：通过直读 NVMe SSD 卸载，在 16GB 显存和 8GB 内存上以约 20 tok/s 运行 Qwen3.8-Flash-Next（125B）]()（帖子 · 进阶）：r/LocalLLaMA 社区帖子，作者介绍自己基于 sybil-solutions 的 glm-flash-lite 卸载思路改编出的 lean-qwenflash，让 125B 的 Qwen3.8-Flash-Next 在低内存机器上运行，而不是像 Strata 等方案那样把 24k 专家全部固定在系统内存中。帖中给出 RTX 4090（16GB 显存、8GB 系统内存）与 RTX 3080 笔记本（16GB 显存、32GB 内存）在 8k 至 262k 上下文的解码与预填充速度，并附 GitHub 仓库地址，包含安装说明、模型下载器与打包脚本。适合在低显存/低内存设备上尝试本地运行大模型的人关注。 6. [本地运行 Qwen3.8 FN 的建议]()（帖子 · 进阶）：r/LocalLLaMA 的社区帖子，作者列出可用硬件：两张 24GB 的 3090（已解锁）、一张 16GB 的 4070 Ti Super（已解锁）、18 核 CPU、130GB DDR4 内存和 1TB NVMe。帖子记录其运行 Qwen3.8FN 的速度：仅用 4070 Ti 加 NVMe 约 8–9 T/s，仅从 NVMe 运行约 2 T/s，三张 GPU 加内存一起跑约 18 T/s，并询问在不买新硬件的前提下如何提高速度。适合用多卡消费级显卡跑本地大模型、关注推理速度调优的人阅读。 7. [能否把 TabbyAPI 配置得像 Strata 那样跑 Qwen 3.8 Flash Next 的 exl3 量化？]()（帖子 · 进阶）：r/LocalLLaMA 社区帖子，发帖人听说 exl3 量化比 Unsloth 的 UD 量化更精确，并给出 Hugging Face 上 Qwen3.8-Flash-Next exl3 版本的链接。他提到 TabbyAPI 和 Exllamav3 已支持 MoE 的 CPU 专家卸载，自己用 UD Q4 能跑到 70\+ t/s，但按 q4 加卸载配置 TabbyAPI 只得到 20 t/s，询问是否只是配置问题、速度能否接近 Strata。补充说明中引用了 TabbyAPI 的 cpu\_moe\_split\_experts 选项（把每层 MoE 的部分路由专家放到 CPU、按冷热动态放置）正是他达到 20 t/s 时用的设置，并猜测 Strata 可能用了别的 gguf 优化。适合在本地部署量化 MoE 模型、折腾 TabbyAPI/Exllama 配置与推理速度的人阅读。 8. [RTX PRO 4000 Blackwell SFF：Qwen3.8 27B 生成速度提升 67%，Qwen3.6 35B A3B 呈现不同扩展规律]()（帖子 · 进阶）：这是 Reddit r/LocalLLaMA 上的一则本地推理实验记录。作者在单张 RTX PRO 4000 Blackwell SFF（24GB GDDR7、出厂 70W、无辅助供电接口）上，通过加载修改后的 VBIOS 将功耗上限提高到 120W，并测试显存与核心偏移，未刷写 EEPROM 或焊接。共 158 次基准请求，测试 Qwen3.8 27B（DFlash2）与 Qwen3.6 35B A3B：27B 在 120W 并调校后生成速度从 35.04 tok/s 升至 58.53 tok/s（\+67%），而 35B A3B 在 106W 至 120W 之间几乎持平；显存偏移对两者影响不同，prefill 变化很小。适合关注本地推理性能调优的读者。 9. [单机 DDR3 服务器]()（帖子 · 进阶）：r/LocalLLaMA 社区帖子。发帖者询问是否有人用类似机器做大模型推理，并附一台本地售价 550 美元的 Dell PowerEdge R820 配置：4× Xeon E5-4640（2.40–2.80GHz）、768GB ECC 内存（每条约 16GB）、2× 146GB 硬盘。其提到 DeepSeek 的激活参数已降到 8/16B，想了解再加一张 GPU 是否可行，并说明兴趣主要来自那些声称能在消费级桌面机上高速运行大型 MoE 模型的新项目。适合考虑用退役服务器大内存平台跑大模型、尤其是 MoE 模型的人阅读。 10. [1000 英镑预算下，本地大模型整机的主流配置是什么？]()（帖子 · 进阶）：r/LocalLLaMA 的社区帖子，作者询问含主机在内的 1000 英镑预算下本地大模型机器的常见配置，表示不太在意新硬件特性和能耗，只看重算力和智能水平。评论区中一位回复者分享了自己的方案及欧盟价格：两张 3060 12GB 约 400–500 欧元、64GB DDR4 内存 200–300 欧元、Ryzen 3600 60 欧元、AM4 主板 100 欧元、机箱与电源 100 欧元、若干 SATA 固态约 100 欧元，合计约 960–1160 欧元，多为二手件，显存加内存共 88GB，并建议直接上 5700x–5800x；同时指出升级到 128GB 因 32GB 内存条稀少而昂贵、预填充速度约 700 tps 等局限。适合预算有限、准备自行组装本地推理机器的人阅读。 11. [为一万到一万二千美元预算的本地 agentic coding 装机：1× 5090 对比 4× 3090、混合方案、PRO 6000、Mac Studio？]()（帖子 · 进阶）：r/LocalLLaMA 社区帖子。发帖者准备花约 1 万美元（必要时到 1.2 万）买硬件做本地 agentic coding，用途包括 agentic coding、偶尔 2–4 个并行 subagent 和逆向工程，可选需求是用 Hunyuan3D-2.1 做贴图生成（需 CUDA 和约 21GB 显存）。其列出正在考虑的方案：单张 RTX 5090、四张二手 3090、5090 \+ 2×3090 混合、Mac Studio M5 Ultra 256GB、超预算的 PRO 6000，并就长上下文中单 5090 与四 3090 的日常体验、3090 长上下文预填充表现、混合方案在 AM5 上以 x8/x8/x4 跑两个 vLLM 实例是否值得、以及是否该等 50 Super 或改装 4090 48GB 等问题征询意见。适合正在规划本地多卡推理/编码 agent 装机的人阅读。 12. [AI 账单太贵了：Token 经济学入门——Eugene Cheah，Featherless AI]()（博客 · 进阶）：这是 AI Engineer NYC 2026 上 Eugene Cheah（Featherless AI）的演讲录像，针对 token 支出上升而生产力未同步提升的情况，提出在大规模场景下降低推理成本的四个步骤：度量、按需选型、合理采购算力、检查流程。内容涉及按团队拆分 API key、代理性与流程型工作负载的区分、在特定任务上可比肩前沿模型的开源模型、分类器、微调、速度与成本的权衡以及所谓“slop grenades”，并附时间戳与问答环节。 13. [我用 Qwen 3.8FN IQ3\_S 测试了 Strata 的路由优化在编程、数学和指令遵循上的表现]()（帖子 · 深入）：这是 r/LocalLLaMA 的一篇社区帖子，作者在自有机器的 Qwen 3.8 Flash Next IQ3\_S 上测试 Strata 0.2.7.1 版本的两项路由优化。STRATA\_ROUTE\_PRIOR 会给已缓存于显存的专家加 1.5 的分数加成（约 4.48 倍有效系数），使分数接近时可用缓存中的专家替换原本会选中的专家；STRATA\_ROUTE\_TAIL\_SKIP=7（默认值）则在某些专家不在显存时跳过第 7 至第 10 个专家的计算，从而丢弃次要专家的贡献。帖子给出关闭两项、仅尾跳、仅路由优先、两者同开四种配置在 IFEvalCode、AIME 2026、IFEval 上的解码速度与得分表格，并说明第二轮用更大思考预算重跑了首轮答案不同的题目。适合在本地运行 MoE 模型、关心显存受限下路由与专家缓存取舍的人阅读。 14. [RTX 3080 20GB 解锁 reBAR 与 P2P：提示处理速度提升 70%]()（帖子 · 深入）：帖子称 RTX 3080 20GB 的 P2P 已解锁，在张量并行模式下提示处理速度大幅提升；发帖人转述原作者 u/nathannguyennng 的工作，并给出自己的测试环境（Proxmox 上双 RTX 3080 20GB、vllm 0.32.0、INT4 量化模型、张量并行等）以及原装、gpu-unlock、gpu-unlock\+ReBAR\+P2P 三种配置的对比。适合在本地多卡上运行大模型、关注vLLM 推理性能调优的人阅读。 15. [搭建 GPU kernel 开发环境的实践笔记：CUDA 13 的显卡截止、异步计时陷阱、profiler 计数器权限 \[P\]]()（帖子 · 进阶）：一篇 r/MachineLearning 社区帖子，作者在准备自己的 GPU kernel 工程系列第一节环境配置时，整理了若干耗时且不易集中查到的要点。内容包括用 compute\_cap 判断显卡架构、CUDA 13 已不再支持 Maxwell/Pascal/Volta、GTX 16 系无张量核心、FP8 需 Ada 或 Hopper；还说明驱动、工具链与 PyTorch 自带 CUDA 运行时是三件不同的事，以及 WSL 2 中的安装方式，并提到 GPU 启动异步导致朴素计时测到的是排队时间。适合刚开始做 CUDA kernel 开发、正在配置环境的人阅读。 16. [OpenAI 与 Broadcom 发布面向 LLM 优化的推理芯片]()（博客 · 进阶）：这是 OpenAI 与 Broadcom（NASDAQ: AVGO）的发布公告，介绍 OpenAI 首款“智能处理器”Jalapeño，一款围绕 LLM 推理架构设计的定制加速器。文中称早期测试显示其每瓦性能显著优于当前最先进水平，从设计到量产历时九个月，并将与数据中心伙伴按吉瓦级规模多代部署。 17. [我为一个面向大规模 GPU 工作负载的 PyTorch 优化器做了实现——希望获得反馈 \[P\]]()（帖子 · 深入）：这是 r/MachineLearning 的一篇社区帖子（\[P\] 表示项目分享），作者介绍自己开发的 PyTorch 优化器 ApexW，目标是降低优化器状态显存占用并加快较大 GPU 工作负载上的优化器更新步骤，做法是紧凑的优化器状态加一条基于 Triton 的执行路径。作者称在只有几个大张量时的优化器单项基准中，Triton 加紧凑状态路径比 PyTorch 的 fused AdamW 快约 1.5 倍，优化器状态显存约减半；同时说明自动执行模式尚未稳定取得同样加速，含大量小张量的负载明显慢于 PyTorch fused 优化器（例如 1.28 亿参数分散在众多小张量时，PyTorch 原生为 16.1 ms/步），并强调这些数字来自优化器单项测试而非完整模型训练，希望有人在实现与基准测试上把关。适合从事 PyTorch 训练优化、关注优化器状态显存与 Triton 内核实现的人阅读。 18. [自主边缘——嵌入工业应用中的智能]()（书籍 · 深入）：这是一本由 Taylor & Francis 出版的开放获取图书，作者为 Vermesan, Ovidiu 与 Pijlman, Fetze，出版信息只给到 2026 年。书中汇集多学科研究者与实践者的文章，讨论人工智能、边缘计算、自主系统与工业应用交汇处的技术变化，包括智能从云端向车辆、机器人、制造系统、智慧城市与嵌入式设备迁移，以及在延迟、能耗、隐私、安全与实时性约束下的边缘 AI 设计，主题词涉及软件定义汽车与联邦学习。 19. [面向 LLM 的 CUDA]()（书籍 · 深入）：这是 Manning Publications 出版的书，作者 Elliot Arledge，出版日期 2026-10-15，408 页，ISBN 9781633434899，主题词为数据科学与深度学习。简介称其讲解在 CUDA 生态中从编写第一个 kernel 到实现 Flash Attention 等高级 LLM 特性，包括用 Nsight Compute 做性能剖析与瓶颈定位，并针对最新 NVIDIA 硬件讲解 CUDA 基础。适合想从 GPU 编程层面优化大模型、需要实操 kernel 开发的 AI 工程师阅读。 20. [把 Spark 带到欧洲：本地智能驱动下一代智能体]()（博客 · 入门）：这是 NVIDIA 官方博客的一篇文章，汇总其在柏林 GTC 上公布的本地 AI 硬件与软件动态。文中提到面向 Windows PC 的 RTX Spark、面向 Linux 开发者的 DGX Spark 以及面向企业前沿负载的 DGX Station（Windows 版将于 12 月推出），并列出 DGX Spark 软件更新、NVIDIA Sync、开源机器人参考工作流、新模型支持与推理引擎加速等多项发布。 21. [统一边缘 AI：Coral NPU 的开放标准如何把可移植、能耗可行的智能从模型带到芯片]()（博客 · 进阶）：Google Developers Blog 文章。介绍 Google Research 通过引入 Matrix Execution Unit 完成了 32 位开源 Coral NPU RISC-V 架构，边缘推理性能最高 1 TOPS、目标平均功耗 10 mW；同时发布 v1.0 开源 IREE/MLIR 编译器，使开发者可将 JAX、PyTorch、TensorFlow 模型直接部署到 Coral NPU 硬件而无需编写自定义汇编。文中还提到可借助 Synaptics Astra SR200 MCU 系列和 Coralboard 开发套件来原型验证和部署多模态边缘应用。适合做边缘 AI 推理、编译器或嵌入式硬件开发的开发者阅读。 22. [用 LiteRT Tensor API 在边缘端进行原生模型编写]()（博客 · 深入）：Google 开发者博客 2026 年 10 月 19 日的文章，作者为 Ping Yu、Quentin Khan、Chintan Parikh、Lu Wang。文章介绍 LiteRT Tensor API，让开发者以原生 C\+\+ 控制模型图，在异构边缘硬件上统一端到端机器学习计算；同时说明最常见的部署路径是把训练好的模型（如用 LiteRT Torch 转换 PyTorch 模型）交给 LiteRT 运行时执行，而在需要完全控制网络表示与优化、支持新架构或试验新的 lowering 逻辑时可采用原生编写方式，并提到 MLX 和 llama.cpp 的相关先例。适合关注端侧 AI 部署、延迟与内存预算受限场景的开发者阅读。 23. [借助 NVIDIA CUDA 13.4 在 Kubernetes 中实现按显存强制的 GPU 共享]()（博客 · 深入）：NVIDIA 技术博客，作者 Ekin Karabulut、David Lifshitz、Hagay Sharon，2026 年 10 月 27 日发布。文章介绍挂在 KAI Scheduler 组织下的开源 GPU Fractioning Operator，它与 NVIDIA GPU Operator 配合在每台 GPU 节点上配置并监管 MPS，按工作负载施加显存上限与计算模式，并按 GPU 切片而非整卡计量使用量；CUDA 13.4 引入对应用透明的显存边界强制，支持精确显存额、保证下限加可突发上限、时间切片与 SM 共享两种计算模式，KAI Scheduler v0.18.0 通过 NvFractions 模式写入 Pod 注解来落实这些设置。 24. [完全分片数据并行（FSDP2）入门]()（教程 · 进阶）：PyTorch 官方中级教程，介绍 FSDP2 的工作方式，示例代码来自 pytorch/examples。正文对比 DDP，说明 FSDP 通过分片模型参数、梯度和优化器状态来降低 GPU 显存占用，使单卡放不下的模型也能训练；并描述前向与反向计算之外参数处于完全分片状态、计算前对分片参数做 all-gather、反向中对未分片梯度做 reduce-scatter 等流程。页面说明 FSDP1 已弃用，其教程已归档。 25. [用 Green Contexts 控制 GPU 如何共享工作]()（博客 · 深入）：NVIDIA 技术博客的一篇文章，介绍 CUDA 13.1 中的 green contexts：允许应用在单个进程内显式划分 SM 和工作队列等 GPU 执行资源。文中举例说，为 green context 分配专用 SM 后，延迟敏感的 kernel 无需等待批量任务排空，在拥有 148 个 SM 的 Blackwell GPU 上可将关键 kernel 延迟从 0.140 ms 降至 0.007 ms。编程模型从 green context 句柄创建 stream，而不再依赖隐式的线程本地设备状态，同时保留既有基于 stream 的 CUDA 工作流；green contexts 为可选、可叠加特性，现有应用可按需逐步采用。 26. [Stanford CS149：并行计算（2025 秋）]()（课程 · 深入）：斯坦福大学 CS149《并行计算》2025 年秋季课程网站。课程旨在深入讲解现代并行计算系统设计的基本原理与工程权衡，并教授有效利用这些机器所需的并行编程技术，内容同时涵盖并行硬件与软件设计。基本信息显示上课时间为周二、周四 10:30–11:50，地点 NVIDIA Auditorium，授课教师为 Kayvon Fatahalian 和 Kunle Olukotun。页面还列出课程安排，前几讲涉及并行的动机与效率、现代多核处理器（多核、SIMD、多线程）、ISPC 编程抽象、数据并行示例以及程序优化等主题。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）