学习选择推理硬件、估算显存和配置卸载，适合本地装机与性能调优者。
26 条精选 · 入门 3 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Questions about Qwen 3.5 4B and llamaparse
r/LocalLLaMA 上的一个求助帖，发帖者为附近实体店店主搭建一套包含员工出入记录、现金与发票、二维码扫描等功能的流程，主要顾虑是店主设备多为 16GB 内存、少数为 8GB，询问适合这类设备的本地模型，并考虑 Qwen 3.5 4B 用于简单的发票处理判断。发帖者原本想用云端解析工具 llamaparse 处理不同格式发票表格，也在询问其它本地替代方案。
Can I run qwen3.8-flash-next on 24gb vram and 48 ram?
r/LocalLLaMA 社区帖子。发帖者尝试运行一次失败，求问配置建议。评论中有人称在 12GB 显存 + 64GB 内存上能跑 IQ3_XXS；有人给出可完全放在内存中的 GGUF 链接、ngram 表放 SSD；有人称 IQ3_XXS 在 RTX 4090 + 48GB 内存上用 Strata 刚好装下、约 70t/s，但没有给其他程序留余量；还有人提到 32GB 显存 + 32GB 内存跑 swift IQ3_xxs 效果不错、升级到 48GB 内存后跑 IQ3_S，并建议用 Strata 自动检测机器并推荐量化版本。适合在消费级显存/内存条件下部署该模型、需要参考量化与放置方案的人阅读。
Have 8 GB of VRAM and 32 GB of RAM? You can run Qwen 3.8 Flash Next at up to 900 t/s PP and 30 t/s TG!
这是一篇经验分享帖，作者在 RTX 5060 笔记本 GPU（8GB 显存）、Ryzen 9 8945HX、32GB DDR5、1TB SSD 的 Linux 机器上，用 Strata 运行 Qwen 3.8 Flash Next Q2 量化版。作者称其基准与实测结果优于自己测过的 Qwen 3.6 35B A3B 微调版和 Qwen 3.8 27B，速度也快于现有 Qwen 3.6 35B A3B 配置，并说明 Strata 可将负载分布到显存、内存和 SSD。帖子提供了系统配置、Chat 与 Agentic 两套 Strata 配置文件链接及运行指引。适合显存有限、想自行部署本地模型的人阅读。
8 GB GPU, 262K context 3.5 BPW Qwen-Flash-Next Coder 70 T/s using llama.cpp
r/LocalLLaMA 的一篇社区帖子。作者介绍其做法：Qwen-Flash-Next 有 n-gram 和 MOE，激活参数为 6B，因此把大部分 MOE 放在内存、最小的 MOE 放进显存以提速、n-gram 放在最快的 SSD 上；配置为 8 GB 显存加 24 GB 内存，约 32 GB 总内存也能运行但需降低上下文长度，并需按硬件调整启动参数。帖子补充说明 CUDA 在 8 GB 显存下可能跑不起来，建议改用 Vulkan 后端，同时减小上下文并关闭浏览器硬件加速等占用显存的程序。作者还说明所用模型是 ISTA DASLab 的 3.5 BPW “Coder”变体、采用 GSQ RCO 量化，移除了一半专家，折算为原模型参数量的 1.89 比特有效速率，但没有任何单个权重以 1.89 比特存储。适合用 llama.cpp 在低显存消费级硬件上部署量化 MoE 模型的人阅读。
Lean-QwenFlash: Qwen3.8-Flash-Next (125B) running at ~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading
r/LocalLLaMA 社区帖子，作者介绍自己基于 sybil-solutions 的 glm-flash-lite 卸载思路改编出的 lean-qwenflash，让 125B 的 Qwen3.8-Flash-Next 在低内存机器上运行，而不是像 Strata 等方案那样把 24k 专家全部固定在系统内存中。帖中给出 RTX 4090（16GB 显存、8GB 系统内存）与 RTX 3080 笔记本（16GB 显存、32GB 内存）在 8k 至 262k 上下文的解码与预填充速度，并附 GitHub 仓库地址，包含安装说明、模型下载器与打包脚本。适合在低显存/低内存设备上尝试本地运行大模型的人关注。
Suggestion for running Qwen3.8 FN local
r/LocalLLaMA 的社区帖子，作者列出可用硬件：两张 24GB 的 3090（已解锁）、一张 16GB 的 4070 Ti Super（已解锁）、18 核 CPU、130GB DDR4 内存和 1TB NVMe。帖子记录其运行 Qwen3.8FN 的速度：仅用 4070 Ti 加 NVMe 约 8–9 T/s，仅从 NVMe 运行约 2 T/s，三张 GPU 加内存一起跑约 18 T/s，并询问在不买新硬件的前提下如何提高速度。适合用多卡消费级显卡跑本地大模型、关注推理速度调优的人阅读。
Is it possible to configure TabbyAPI to be like Strata for Qwen 3.8 Flash Next exl3?
r/LocalLLaMA 社区帖子，发帖人听说 exl3 量化比 Unsloth 的 UD 量化更精确，并给出 Hugging Face 上 Qwen3.8-Flash-Next exl3 版本的链接。他提到 TabbyAPI 和 Exllamav3 已支持 MoE 的 CPU 专家卸载，自己用 UD Q4 能跑到 70+ t/s，但按 q4 加卸载配置 TabbyAPI 只得到 20 t/s，询问是否只是配置问题、速度能否接近 Strata。补充说明中引用了 TabbyAPI 的 cpu_moe_split_experts 选项（把每层 MoE 的部分路由专家放到 CPU、按冷热动态放置）正是他达到 20 t/s 时用的设置，并猜测 Strata 可能用了别的 gguf 优化。适合在本地部署量化 MoE 模型、折腾 TabbyAPI/Exllama 配置与推理速度的人阅读。
RTX PRO 4000 Blackwell SFF: +67% generation on Qwen3.8 27B, different scaling on Qwen3.6 35B A3B
这是 Reddit r/LocalLLaMA 上的一则本地推理实验记录。作者在单张 RTX PRO 4000 Blackwell SFF（24GB GDDR7、出厂 70W、无辅助供电接口）上，通过加载修改后的 VBIOS 将功耗上限提高到 120W，并测试显存与核心偏移，未刷写 EEPROM 或焊接。共 158 次基准请求，测试 Qwen3.8 27B（DFlash2）与 Qwen3.6 35B A3B：27B 在 120W 并调校后生成速度从 35.04 tok/s 升至 58.53 tok/s（+67%），而 35B A3B 在 106W 至 120W 之间几乎持平；显存偏移对两者影响不同，prefill 变化很小。适合关注本地推理性能调优的读者。
Monolithic ddr3 server
r/LocalLLaMA 社区帖子。发帖者询问是否有人用类似机器做大模型推理，并附一台本地售价 550 美元的 Dell PowerEdge R820 配置：4× Xeon E5-4640（2.40–2.80GHz）、768GB ECC 内存（每条约 16GB）、2× 146GB 硬盘。其提到 DeepSeek 的激活参数已降到 8/16B，想了解再加一张 GPU 是否可行，并说明兴趣主要来自那些声称能在消费级桌面机上高速运行大型 MoE 模型的新项目。适合考虑用退役服务器大内存平台跑大模型、尤其是 MoE 模型的人阅读。
For £1000 what is the meta for a local LLM rig?
r/LocalLLaMA 的社区帖子，作者询问含主机在内的 1000 英镑预算下本地大模型机器的常见配置，表示不太在意新硬件特性和能耗，只看重算力和智能水平。评论区中一位回复者分享了自己的方案及欧盟价格：两张 3060 12GB 约 400–500 欧元、64GB DDR4 内存 200–300 欧元、Ryzen 3600 60 欧元、AM4 主板 100 欧元、机箱与电源 100 欧元、若干 SATA 固态约 100 欧元，合计约 960–1160 欧元，多为二手件，显存加内存共 88GB，并建议直接上 5700x–5800x；同时指出升级到 128GB 因 32GB 内存条稀少而昂贵、预填充速度约 700 tps 等局限。适合预算有限、准备自行组装本地推理机器的人阅读。
$10–12K build for local agentic coding: 1× 5090 vs 4× 3090 vs hybrid vs PRO 6000 vs Mac Studio?
r/LocalLLaMA 社区帖子。发帖者准备花约 1 万美元（必要时到 1.2 万）买硬件做本地 agentic coding，用途包括 agentic coding、偶尔 2–4 个并行 subagent 和逆向工程，可选需求是用 Hunyuan3D-2.1 做贴图生成（需 CUDA 和约 21GB 显存）。其列出正在考虑的方案：单张 RTX 5090、四张二手 3090、5090 + 2×3090 混合、Mac Studio M5 Ultra 256GB、超预算的 PRO 6000，并就长上下文中单 5090 与四 3090 的日常体验、3090 长上下文预填充表现、混合方案在 AM5 上以 x8/x8/x4 跑两个 vLLM 实例是否值得、以及是否该等 50 Super 或改装 4090 48GB 等问题征询意见。适合正在规划本地多卡推理/编码 agent 装机的人阅读。
The AI Bill Is Too Damn High: Tokenomics 101 — Eugene Cheah, Featherless AI
这是 AI Engineer NYC 2026 上 Eugene Cheah（Featherless AI）的演讲录像，针对 token 支出上升而生产力未同步提升的情况，提出在大规模场景下降低推理成本的四个步骤：度量、按需选型、合理采购算力、检查流程。内容涉及按团队拆分 API key、代理性与流程型工作负载的区分、在特定任务上可比肩前沿模型的开源模型、分类器、微调、速度与成本的权衡以及所谓“slop grenades”，并附时间戳与问答环节。
I tested Strata's routing optimizations with Qwen 3.8FN IQ3_S in coding, math, and instruction following
这是 r/LocalLLaMA 的一篇社区帖子，作者在自有机器的 Qwen 3.8 Flash Next IQ3_S 上测试 Strata 0.2.7.1 版本的两项路由优化。STRATA_ROUTE_PRIOR 会给已缓存于显存的专家加 1.5 的分数加成（约 4.48 倍有效系数），使分数接近时可用缓存中的专家替换原本会选中的专家；STRATA_ROUTE_TAIL_SKIP=7（默认值）则在某些专家不在显存时跳过第 7 至第 10 个专家的计算，从而丢弃次要专家的贡献。帖子给出关闭两项、仅尾跳、仅路由优先、两者同开四种配置在 IFEvalCode、AIME 2026、IFEval 上的解码速度与得分表格，并说明第二轮用更大思考预算重跑了首轮答案不同的题目。适合在本地运行 MoE 模型、关心显存受限下路由与专家缓存取舍的人阅读。
RTX 3080 20GB got reBAR and P2P unlock! +70% prompt processing speed
帖子称 RTX 3080 20GB 的 P2P 已解锁，在张量并行模式下提示处理速度大幅提升；发帖人转述原作者 u/nathannguyennng 的工作，并给出自己的测试环境（Proxmox 上双 RTX 3080 20GB、vllm 0.32.0、INT4 量化模型、张量并行等）以及原装、gpu-unlock、gpu-unlock+ReBAR+P2P 三种配置的对比。适合在本地多卡上运行大模型、关注vLLM 推理性能调优的人阅读。
Practical notes on setting up a GPU kernel-dev environment: CUDA 13's GPU cutoff, async timing pitfalls, profiler counter permissions [P]
一篇 r/MachineLearning 社区帖子，作者在准备自己的 GPU kernel 工程系列第一节环境配置时，整理了若干耗时且不易集中查到的要点。内容包括用 compute_cap 判断显卡架构、CUDA 13 已不再支持 Maxwell/Pascal/Volta、GTX 16 系无张量核心、FP8 需 Ada 或 Hopper；还说明驱动、工具链与 PyTorch 自带 CUDA 运行时是三件不同的事，以及 WSL 2 中的安装方式，并提到 GPU 启动异步导致朴素计时测到的是排队时间。适合刚开始做 CUDA kernel 开发、正在配置环境的人阅读。
OpenAI and Broadcom unveil LLM-optimized inference chip
这是 OpenAI 与 Broadcom（NASDAQ: AVGO）的发布公告，介绍 OpenAI 首款“智能处理器”Jalapeño，一款围绕 LLM 推理架构设计的定制加速器。文中称早期测试显示其每瓦性能显著优于当前最先进水平，从设计到量产历时九个月，并将与数据中心伙伴按吉瓦级规模多代部署。
I built a PyTorch optimizer for large GPU workloads — looking for feedback[P]
这是 r/MachineLearning 的一篇社区帖子（[P] 表示项目分享），作者介绍自己开发的 PyTorch 优化器 ApexW，目标是降低优化器状态显存占用并加快较大 GPU 工作负载上的优化器更新步骤，做法是紧凑的优化器状态加一条基于 Triton 的执行路径。作者称在只有几个大张量时的优化器单项基准中，Triton 加紧凑状态路径比 PyTorch 的 fused AdamW 快约 1.5 倍，优化器状态显存约减半；同时说明自动执行模式尚未稳定取得同样加速，含大量小张量的负载明显慢于 PyTorch fused 优化器（例如 1.28 亿参数分散在众多小张量时，PyTorch 原生为 16.1 ms/步），并强调这些数字来自优化器单项测试而非完整模型训练，希望有人在实现与基准测试上把关。适合从事 PyTorch 训练优化、关注优化器状态显存与 Triton 内核实现的人阅读。
The Autonomous Edge – Intelligence Embedded in Industrial Applications
这是一本由 Taylor & Francis 出版的开放获取图书，作者为 Vermesan, Ovidiu 与 Pijlman, Fetze，出版信息只给到 2026 年。书中汇集多学科研究者与实践者的文章，讨论人工智能、边缘计算、自主系统与工业应用交汇处的技术变化，包括智能从云端向车辆、机器人、制造系统、智慧城市与嵌入式设备迁移，以及在延迟、能耗、隐私、安全与实时性约束下的边缘 AI 设计，主题词涉及软件定义汽车与联邦学习。
CUDA for LLMs
这是 Manning Publications 出版的书，作者 Elliot Arledge，出版日期 2026-10-15，408 页，ISBN 9781633434899，主题词为数据科学与深度学习。简介称其讲解在 CUDA 生态中从编写第一个 kernel 到实现 Flash Attention 等高级 LLM 特性，包括用 Nsight Compute 做性能剖析与瓶颈定位，并针对最新 NVIDIA 硬件讲解 CUDA 基础。适合想从 GPU 编程层面优化大模型、需要实操 kernel 开发的 AI 工程师阅读。
Bringing the Spark to Europe: Local Intelligence Powers Next Wave of Agents
这是 NVIDIA 官方博客的一篇文章，汇总其在柏林 GTC 上公布的本地 AI 硬件与软件动态。文中提到面向 Windows PC 的 RTX Spark、面向 Linux 开发者的 DGX Spark 以及面向企业前沿负载的 DGX Station（Windows 版将于 12 月推出），并列出 DGX Spark 软件更新、NVIDIA Sync、开源机器人参考工作流、新模型支持与推理引擎加速等多项发布。
Unifying Edge AI: How Coral NPU’s open standard brings portable, energy-viable intelligence from model to silicon
Google Developers Blog 文章。介绍 Google Research 通过引入 Matrix Execution Unit 完成了 32 位开源 Coral NPU RISC-V 架构，边缘推理性能最高 1 TOPS、目标平均功耗 10 mW；同时发布 v1.0 开源 IREE/MLIR 编译器，使开发者可将 JAX、PyTorch、TensorFlow 模型直接部署到 Coral NPU 硬件而无需编写自定义汇编。文中还提到可借助 Synaptics Astra SR200 MCU 系列和 Coralboard 开发套件来原型验证和部署多模态边缘应用。适合做边缘 AI 推理、编译器或嵌入式硬件开发的开发者阅读。
Native Model Authoring for Edge with LiteRT Tensor API
Google 开发者博客 2026 年 10 月 19 日的文章，作者为 Ping Yu、Quentin Khan、Chintan Parikh、Lu Wang。文章介绍 LiteRT Tensor API，让开发者以原生 C++ 控制模型图，在异构边缘硬件上统一端到端机器学习计算；同时说明最常见的部署路径是把训练好的模型（如用 LiteRT Torch 转换 PyTorch 模型）交给 LiteRT 运行时执行，而在需要完全控制网络表示与优化、支持新架构或试验新的 lowering 逻辑时可采用原生编写方式，并提到 MLX 和 llama.cpp 的相关先例。适合关注端侧 AI 部署、延迟与内存预算受限场景的开发者阅读。
Memory-Enforced GPU Sharing in Kubernetes with NVIDIA CUDA 13.4
NVIDIA 技术博客，作者 Ekin Karabulut、David Lifshitz、Hagay Sharon，2026 年 10 月 27 日发布。文章介绍挂在 KAI Scheduler 组织下的开源 GPU Fractioning Operator，它与 NVIDIA GPU Operator 配合在每台 GPU 节点上配置并监管 MPS，按工作负载施加显存上限与计算模式，并按 GPU 切片而非整卡计量使用量；CUDA 13.4 引入对应用透明的显存边界强制，支持精确显存额、保证下限加可突发上限、时间切片与 SM 共享两种计算模式，KAI Scheduler v0.18.0 通过 NvFractions 模式写入 Pod 注解来落实这些设置。
Getting Started with Fully Sharded Data Parallel (FSDP2)
PyTorch 官方中级教程，介绍 FSDP2 的工作方式，示例代码来自 pytorch/examples。正文对比 DDP，说明 FSDP 通过分片模型参数、梯度和优化器状态来降低 GPU 显存占用，使单卡放不下的模型也能训练；并描述前向与反向计算之外参数处于完全分片状态、计算前对分片参数做 all-gather、反向中对未分片梯度做 reduce-scatter 等流程。页面说明 FSDP1 已弃用，其教程已归档。
Control How Your GPU Shares Work with Green Contexts
NVIDIA 技术博客的一篇文章，介绍 CUDA 13.1 中的 green contexts：允许应用在单个进程内显式划分 SM 和工作队列等 GPU 执行资源。文中举例说，为 green context 分配专用 SM 后，延迟敏感的 kernel 无需等待批量任务排空，在拥有 148 个 SM 的 Blackwell GPU 上可将关键 kernel 延迟从 0.140 ms 降至 0.007 ms。编程模型从 green context 句柄创建 stream，而不再依赖隐式的线程本地设备状态，同时保留既有基于 stream 的 CUDA 工作流；green contexts 为可选、可叠加特性，现有应用可按需逐步采用。
斯坦福大学 CS149《并行计算》2025 年秋季课程网站。课程旨在深入讲解现代并行计算系统设计的基本原理与工程权衡，并教授有效利用这些机器所需的并行编程技术，内容同时涵盖并行硬件与软件设计。基本信息显示上课时间为周二、周四 10:30–11:50，地点 NVIDIA Auditorium，授课教师为 Kayvon Fatahalian 和 Kunle Olukotun。页面还列出课程安排，前几讲涉及并行的动机与效率、现代多核处理器（多核、SIMD、多线程）、ISPC 编程抽象、数据并行示例以及程序优化等主题。