学习在电脑、手机和浏览器运行模型，适合重视离线可用与自主部署的用户。
53 条精选 · 入门 8 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Theory: Local is going to explode at enterprises
这是 r/LocalLLaMA 的一篇社区帖子，作者援引一条 X 帖子提出观点：企业希望保守自己的机密，而大型本地模型对多数任务已经足够好，企业所需要的只是一个即插即用的方案。评论区中一位自称从事企业 AI 部署的用户反驳称，目前这远非常态，也不认为一年内会改变：多数“科技”公司缺乏构建、维护和优化自托管部署所需的机器学习与 IT 能力，本地可用的模型并不适合普通员工使用，为各类硬件和用户需求优化环境也很麻烦，多数企业会依靠数据处理协议或企业级服务来保护机密。适合在企业中从事 AI 部署或选型、关注本地部署落地障碍的人阅读。
Questions about Qwen 3.5 4B and llamaparse
r/LocalLLaMA 上的一个求助帖，发帖者为附近实体店店主搭建一套包含员工出入记录、现金与发票、二维码扫描等功能的流程，主要顾虑是店主设备多为 16GB 内存、少数为 8GB，询问适合这类设备的本地模型，并考虑 Qwen 3.5 4B 用于简单的发票处理判断。发帖者原本想用云端解析工具 llamaparse 处理不同格式发票表格，也在询问其它本地替代方案。
Can I run qwen3.8-flash-next on 24gb vram and 48 ram?
r/LocalLLaMA 社区帖子。发帖者尝试运行一次失败，求问配置建议。评论中有人称在 12GB 显存 + 64GB 内存上能跑 IQ3_XXS；有人给出可完全放在内存中的 GGUF 链接、ngram 表放 SSD；有人称 IQ3_XXS 在 RTX 4090 + 48GB 内存上用 Strata 刚好装下、约 70t/s，但没有给其他程序留余量；还有人提到 32GB 显存 + 32GB 内存跑 swift IQ3_xxs 效果不错、升级到 48GB 内存后跑 IQ3_S，并建议用 Strata 自动检测机器并推荐量化版本。适合在消费级显存/内存条件下部署该模型、需要参考量化与放置方案的人阅读。
140TB of storage and 640gb A100 gpu server, what models to download
r/LocalLLaMA 上的一篇求助帖。发帖者称在 Hugging Face 相关限制变化后想下载重要模型，已列出 GLM5.3 (Flash)(abliterated)、DS4 Flash 等，并询问在剩余存储空间下应保存哪些模型和量化版本，还表示想涉足图像和视频模型，同时征集其他人的使用情况。适合关注本地模型部署与硬件配置的读者。
PSA: llama.cpp CVE-2026-116096
这是 r/LocalLLaMA 的社区帖子，引用 NVD 条目说明 llama.cpp 中 Pocket-TTS 组件 pockettts-gen.cpp 的 list_pockettts_state_slots 函数在操纵 mmproj 参数时存在越界写问题，攻击需本地访问，且声称漏洞利用已公开，建议升级到 b11796 版本并给出补丁提交。发帖人补充说，在当前 master 与最新发布 b11871 上，恶意 mmproj 会触发 release 生效的 GGML_ASSERT 而中止，已不再是静默的堆越界写，但推荐的根本性修复 PR #29360 仍未合并。适合部署和运行 llama.cpp、关心其安全公告与版本升级的人阅读。
For £1000 what is the meta for a local LLM rig?
r/LocalLLaMA 的社区帖子，作者询问含主机在内的 1000 英镑预算下本地大模型机器的常见配置，表示不太在意新硬件特性和能耗，只看重算力和智能水平。评论区中一位回复者分享了自己的方案及欧盟价格：两张 3060 12GB 约 400–500 欧元、64GB DDR4 内存 200–300 欧元、Ryzen 3600 60 欧元、AM4 主板 100 欧元、机箱与电源 100 欧元、若干 SATA 固态约 100 欧元，合计约 960–1160 欧元，多为二手件，显存加内存共 88GB，并建议直接上 5700x–5800x；同时指出升级到 128GB 因 32GB 内存条稀少而昂贵、预填充速度约 700 tps 等局限。适合预算有限、准备自行组装本地推理机器的人阅读。
Have 8 GB of VRAM and 32 GB of RAM? You can run Qwen 3.8 Flash Next at up to 900 t/s PP and 30 t/s TG!
这是一篇经验分享帖，作者在 RTX 5060 笔记本 GPU（8GB 显存）、Ryzen 9 8945HX、32GB DDR5、1TB SSD 的 Linux 机器上，用 Strata 运行 Qwen 3.8 Flash Next Q2 量化版。作者称其基准与实测结果优于自己测过的 Qwen 3.6 35B A3B 微调版和 Qwen 3.8 27B，速度也快于现有 Qwen 3.6 35B A3B 配置，并说明 Strata 可将负载分布到显存、内存和 SSD。帖子提供了系统配置、Chat 与 Agentic 两套 Strata 配置文件链接及运行指引。适合显存有限、想自行部署本地模型的人阅读。
8 GB GPU, 262K context 3.5 BPW Qwen-Flash-Next Coder 70 T/s using llama.cpp
r/LocalLLaMA 的一篇社区帖子。作者介绍其做法：Qwen-Flash-Next 有 n-gram 和 MOE，激活参数为 6B，因此把大部分 MOE 放在内存、最小的 MOE 放进显存以提速、n-gram 放在最快的 SSD 上；配置为 8 GB 显存加 24 GB 内存，约 32 GB 总内存也能运行但需降低上下文长度，并需按硬件调整启动参数。帖子补充说明 CUDA 在 8 GB 显存下可能跑不起来，建议改用 Vulkan 后端，同时减小上下文并关闭浏览器硬件加速等占用显存的程序。作者还说明所用模型是 ISTA DASLab 的 3.5 BPW “Coder”变体、采用 GSQ RCO 量化，移除了一半专家，折算为原模型参数量的 1.89 比特有效速率，但没有任何单个权重以 1.89 比特存储。适合用 llama.cpp 在低显存消费级硬件上部署量化 MoE 模型的人阅读。
Lean-QwenFlash: Qwen3.8-Flash-Next (125B) running at ~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading
r/LocalLLaMA 社区帖子，作者介绍自己基于 sybil-solutions 的 glm-flash-lite 卸载思路改编出的 lean-qwenflash，让 125B 的 Qwen3.8-Flash-Next 在低内存机器上运行，而不是像 Strata 等方案那样把 24k 专家全部固定在系统内存中。帖中给出 RTX 4090（16GB 显存、8GB 系统内存）与 RTX 3080 笔记本（16GB 显存、32GB 内存）在 8k 至 262k 上下文的解码与预填充速度，并附 GitHub 仓库地址，包含安装说明、模型下载器与打包脚本。适合在低显存/低内存设备上尝试本地运行大模型的人关注。
Suggestion for running Qwen3.8 FN local
r/LocalLLaMA 的社区帖子，作者列出可用硬件：两张 24GB 的 3090（已解锁）、一张 16GB 的 4070 Ti Super（已解锁）、18 核 CPU、130GB DDR4 内存和 1TB NVMe。帖子记录其运行 Qwen3.8FN 的速度：仅用 4070 Ti 加 NVMe 约 8–9 T/s，仅从 NVMe 运行约 2 T/s，三张 GPU 加内存一起跑约 18 T/s，并询问在不买新硬件的前提下如何提高速度。适合用多卡消费级显卡跑本地大模型、关注推理速度调优的人阅读。
How to use Q8 ngram with lower quant Qwen 3.8 Flash Next in Strata and avoid errors
r/LocalLLaMA 社区帖子，介绍在 Strata 中通过 --ple-gguf 参数或 Docker 环境的 STRATA_SET 变量旁加载更高精度的 Q8 ngram，以在声称不增加显存与内存占用、不牺牲预填充/解码速度的情况下提升输出质量；作者说明直接使用 Hugging Face 上的原始 ngram gguf 会报架构不匹配错误，需要把 general.architecture 键改为 strata-ple（可下载已修改好的 gguf，或用 gguf-editor-gui 修改），并声明自己尚未验证模型是否真的更聪明、速度与资源影响也未做充分测试。适合在本地用 Strata 跑量化模型、折腾 GGUF 元数据与 ngram 加速的人阅读。
110+ TPS through 100K tokens with 27b on a single 3090, with 400k ctx
这是一篇 Reddit r/LocalLLaMA 社区帖子，介绍 LlamAmpere v0.6 版本发布内容：TPS 提升约 13%（100–105K token 区间平均 112 TPS）、提示处理提升约 20%（前 10 万 token 平均预填充从约 1080 提升到约 1300 TPS）、推出新的 Ampere Integer+ 文件格式并与 XS、EXL3 作 KLD 与速度对比，以及借助 SJKVaRN 在约 23.5GB 占用下实现超过 400K 总上下文。适合在单块 3090 上运行本地推理、关注量化格式与长上下文性能的人阅读。
RTX PRO 4000 Blackwell SFF: +67% generation on Qwen3.8 27B, different scaling on Qwen3.6 35B A3B
这是 Reddit r/LocalLLaMA 上的一则本地推理实验记录。作者在单张 RTX PRO 4000 Blackwell SFF（24GB GDDR7、出厂 70W、无辅助供电接口）上，通过加载修改后的 VBIOS 将功耗上限提高到 120W，并测试显存与核心偏移，未刷写 EEPROM 或焊接。共 158 次基准请求，测试 Qwen3.8 27B（DFlash2）与 Qwen3.6 35B A3B：27B 在 120W 并调校后生成速度从 35.04 tok/s 升至 58.53 tok/s（+67%），而 35B A3B 在 106W 至 120W 之间几乎持平；显存偏移对两者影响不同，prefill 变化很小。适合关注本地推理性能调优的读者。
Is it possible to configure TabbyAPI to be like Strata for Qwen 3.8 Flash Next exl3?
r/LocalLLaMA 社区帖子，发帖人听说 exl3 量化比 Unsloth 的 UD 量化更精确，并给出 Hugging Face 上 Qwen3.8-Flash-Next exl3 版本的链接。他提到 TabbyAPI 和 Exllamav3 已支持 MoE 的 CPU 专家卸载，自己用 UD Q4 能跑到 70+ t/s，但按 q4 加卸载配置 TabbyAPI 只得到 20 t/s，询问是否只是配置问题、速度能否接近 Strata。补充说明中引用了 TabbyAPI 的 cpu_moe_split_experts 选项（把每层 MoE 的部分路由专家放到 CPU、按冷热动态放置）正是他达到 20 t/s 时用的设置，并猜测 Strata 可能用了别的 gguf 优化。适合在本地部署量化 MoE 模型、折腾 TabbyAPI/Exllama 配置与推理速度的人阅读。
Is anyone actually using deepseekv4.1f at sub 1-3 bpw?
r/LocalLLaMA 社区帖子，发帖人看到很多关于在低价硬件上以低 bpw 运行 deepseekv4.1 1017 且速度尚可的帖子，想做一次实际使用情况的核实：除了当作新奇玩意，是否真有人在低比特量化下用它做事。他回顾此前用 v4-0731 的 Q2 经验，认为相比完整的 Q8 差距明显，而那个 Q8 本身已等于约 90% 的 QAT 后 Q4，再降两个 bpw 后表现不佳。他征询使用 1–3 bpw v4.1-1017 的人分享体验，最好与 3.8FN 更高量化版本作对比。适合在有限硬件上运行低比特量化大模型、比较不同量化方案实际可用性的人阅读。
Too good to be true? ISTA's GSQ-RCO 2-bit DeepSeek-V4.1-Flash scoring the same as the base model
r/LocalLLaMA 的一篇社区帖子。作者询问是否有人试过 ISTA 为 DeepSeek-V4.1-Flash 发布的 GSQ-RCO GGUF 量化模型，以及实际质量是否与榜单成绩相符（IQ2_XXS 与基座持平）。作者指出其基准已饱和（90% 以上，AIME25 各版本均为 100），可能无法体现性能退化，也找不到 GSQ-RCO 模型的 KLD 数据，因此询问是否有人测过 KLD 或 PPL，以及在约 2 bpw 下预期的 KLD 是多少，并附上 Hugging Face 模型页链接。适合在本地部署低比特量化大模型、关注量化后质量评估的人阅读。
Qwen 3.8 27B vs Nanbeige 4.3 33B on 4xR9700s: Real World TPS and jobs/hour on my workload
这是 r/LocalLLaMA 的一篇社区帖子，作者此前发布过用 127 美元二手 EPYC 搭建 4 卡 R9700 机器的方案，本次在同一套硬件上对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B。他以自己公司维护枪械相关商家信息（营业时间、价格、设施等）的实际工作为负载，让两套配置各跑同样的 2,484 个案例，以审计员身份输出接受、拒绝或弃权，并统计吞吐、每日经核实的正确任务数、准确率，以及 1/4/8 路并发下的 token 速度。帖子还提到 Qwen 在思考模式下审计自身结果的表现优于 Nanbeige，并在结尾向做编程或创意写作测试的人征询情况。适合关注本地多卡推理部署、按实际业务任务而非纯跑分评估模型的人阅读。
Local beats cloud, Qwen 3.8 FN
这是一篇社区案例帖，作者描述在高校硕士论文模块中用本地模型 Qwen 3.8 flash next（运行在 opencode 中，vllm 后端，Docker 沙箱、输入只读、工作区可写）处理学生、导师、课题、评审与成绩的匹配事务和多种格式 CSV 数据导入，因为学生姓名邮箱与早期研究项目信息不便上传云端。帖子称本地模型以接近前沿云端模型的水平完成了该任务。适合关心数据隐私场景下本地模型落地应用的人阅读。
What's your go-to strategy for ensuring geometrical adherence to level design with local LLMs?
一篇 r/LocalLLaMA 社区帖子，作者在用本地模型（Q3.8-FN-NVFP4，基于 Ninfer-v3 的分支）辅助设计 Halo Infinite Forge 地图，并征询如何保证模型输出在几何上符合关卡设计。帖子介绍了背景：Forge 只能通过节点图脚本、无法输入代码，地图保存为 MVAR 文件，反作弊机制阻止直接推送修改后的文件，因此开发需在游戏内手动完成；作者用 harness 建立专门的项目文件夹让代理参与制作。适合关注本地 LLM 在游戏关卡设计与代理工具链中应用的人阅读。
I fine-tuned an LLM to clean up transcriptions for my voice-to-text app
一篇 r/LocalLLaMA 社区帖子，作者为自己开发的语音转文字应用 WhisperNow 微调本地 LLM 做文本清理，去除口头填充词、误起头、自我纠正并格式化列表。帖子介绍了 66,557 行的数据集（合并公开数据与合成听写内容），说明训练中发现的薄弱点及补充样本的做法，并给出 LFM2.5 1.2B/2.6B、Qwen3.5 4B 三个全量微调模型在 GPU 与 CPU 上的耗时对比，以及与若干云端 API 的延迟对照。适合在做本地语音输入或文本后处理模型微调的人阅读。
I ran a blind test on self-hosted AI agents. Here are the results, guess who's who [D]
这是 r/MachineLearning 的社区帖子，作者在 M5 Max MacBook Pro（64GB）上，让五个自托管智能体（OpenCode、goose、Atomic Agent、Hermes、OpenClaw）使用同一个 Qwen 3.8 27B 非审查版 Q4_K_M 模型在 llama.cpp 中运行，执行合并联系人列表、跨文件重命名函数、修复带隐藏测试的 bug、统计日志错误数、把收据 PDF 转成表格五项任务，并给出各智能体的逐项通过情况与耗时。作者提到其中一个智能体把“Q3/Q4”写成“q3q4”，另有智能体未经询问就安装缺少的 Python 库，并邀请读者猜字母与智能体的对应关系。适合对自托管编码智能体的实际任务表现和自主性取舍感兴趣的人阅读。
Real-time video captioning with LFM3-VL-2B running locally in-browser on WebGPU
r/LocalLLaMA 社区帖子，分享了 LFM3-VL-2B 的 Hugging Face 模型集合与一个在浏览器里通过 WebGPU 本地运行的演示 Space，用于实时视频描述；评论区讨论把它用作 LLM 的近实时视觉输入（每 1–2 秒一次，或作为快速视觉调用后按需调用更强的视觉模型），也有评论提到同为 2B 规模的 LFM3 Omni 模型支持实时并可直接输入音频。适合在浏览器端本地部署小模型、做实时视觉/语音多模态应用的人阅读。
Tuned Strata config, 2000 PP and 95-105 mean tg
一篇 r/LocalLLaMA 社区帖子，作者在 RTX 4090 + 48 GB 内存、Ryzen 3900X、Windows、200k 上下文的环境下运行 IQ3_S Qwen3.8-Flash-Next，对 Strata 0.43 的大量参数做了近似网格搜索。帖子称 decode 从 97 tok/s 提升到 142 tok/s（+45%），列出最有效的几个参数（--adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2）和最差的几个（--expert-cache 单位是 MiB、--ple-io ram、--no-prefill-borrow），并指出 Windows 无法用 cuda 固定内存。适合在单卡上折腾 Strata 推理引擎参数调优的人阅读。
I tested Strata's routing optimizations with Qwen 3.8FN IQ3_S in coding, math, and instruction following
这是 r/LocalLLaMA 的一篇社区帖子，作者在自有机器的 Qwen 3.8 Flash Next IQ3_S 上测试 Strata 0.2.7.1 版本的两项路由优化。STRATA_ROUTE_PRIOR 会给已缓存于显存的专家加 1.5 的分数加成（约 4.48 倍有效系数），使分数接近时可用缓存中的专家替换原本会选中的专家；STRATA_ROUTE_TAIL_SKIP=7（默认值）则在某些专家不在显存时跳过第 7 至第 10 个专家的计算，从而丢弃次要专家的贡献。帖子给出关闭两项、仅尾跳、仅路由优先、两者同开四种配置在 IFEvalCode、AIME 2026、IFEval 上的解码速度与得分表格，并说明第二轮用更大思考预算重跑了首轮答案不同的题目。适合在本地运行 MoE 模型、关心显存受限下路由与专家缓存取舍的人阅读。
Qwen3.8-Flash-Next: Swift 1.5 vs Unsloth on Strix Halo (Halogen, gufo, llama.cpp, UD-Q4_K_XL and IQ4_XS)
这是 r/LocalLLaMA 的社区帖子，作者在 Asus ROG Flow Z13（128 GB、70 W）上对比 UkisAI 的 Qwen3.8-Flash-Next 微调版 Swift 1.5 与自己原有方案，涉及 Halogen、gufo、llama.cpp 三种引擎和多种量化格式，均启用 MTP。帖中记录了服务启动时间、32k prompt 下的 TTFT、预填充与解码速度、MTP 接受率、KLD，以及数学、LCB 和 11 项 Pi 代码任务的得分、耗时与 token 消耗，并说明结果仅来自单次运行。适合关注本地大模型推理性能、量化方案与编码智能体实测的人阅读。
Nanbeige4.3-33B Q4 on a MacBook Pro M5 Max, mlx-lm vs llama.cpp vs Kapitsa, Prefill/Decode 512 to 32K range.
这是一篇社区基准测试帖，在 MacBook Pro M5 Max（128GB）上对 Nanbeige4.3-33B 4-bit 量化模型比较 mlx-lm、llama.cpp 与 Kapitsa 三个引擎的 prefill、decode、首 token 时间、后续延迟和显存占用，覆盖 512 至 32K 提示长度；作者自述是 Kapitsa 引擎的开发者，并公开了原始输出与脚本。帖中称该模型速度慢、KV 缓存占用高（128K 上下文约 26GB），编码能力尚可。适合在 Apple 芯片上做本地推理性能对比的人阅读。
Two days tuning a single Tesla P40: 35B MoE, full 262k context, ~60 t/s short and ~30 t/s at 100k deep. No sub-Q4 quants.
这是一篇 Reddit r/LocalLLaMA 社区帖子，作者记录在单块 24GB Tesla P40（PCIe x1、Windows、自改 llama.cpp）上运行 Ornith 1.5 35B-A3B 模型、保持 Q4_0 权重与 q8_0 KV 的调优过程。文中列出带来提升的做法（关闭 ECC、KV 用 q8_0 而非 q4_0、检查 MTP 头是否训练、为 flash-attention 的 KQ 部分使用 int8 dp4a、限制 MTP 预填充窗口）以及未奏效的尝试（f16 KV、核内反量化 V、官方 Q4_K_M），并给出 llama-bench 测试数据。适合在本机用单卡或旧款显卡跑大模型推理、关注量化与 llama.cpp 调优的人阅读。