# \[GPU Lawyer\] 在 4 张 32GB V100 上运行 Deepseek 4.1 Flash 1018：解码接近 40 tok/s，下一步测试 8 张 V100 - 原标题：\[GPU Lawyer\] Deepseek 4.1 Flash 1018 on 4 32GB V100s -- pushing 40 tok/s decode, and will test across 8 v100s next. - 类型：帖子 - 来源：Reddit - 发布时间：2026-11-03 - 首次精选：2026-11-04 09:30 - 分级：值得看 - 是否付费：免费（公开帖子） - 预估学习时长：约 6 分钟（按全文字数估算） - 学习层级：深入 - 主题：[inference-hardware-memory]()（第 18 位）、[decoding-acceleration]()（第 39 位）、[model-serving-compute]()（第 72 位） - 原文链接：[https://reddit.com/r/LocalLLaMA/comments/1xmcibh/gpu\_lawyer\_deepseek\_41\_flash\_1018\_on\_4\_32gb\_v100s]() - 本站页面：[https://oplearnx.com/resources/pk\_7c7cbbf21e8f]() ## 摘要 这是一篇 Reddit r/LocalLLaMA 的社区帖子，作者公布在 4 张 2017 年的 V100 32GB SXM2 显卡加系统内存上、面向单用户运行 DeepSeek-V4.1-Flash 的实测结果：关闭思考时 8K 至 75K 上下文下生成速度 36–38 tok/s，开启思考时 32–38 tok/s，预填充约 1000–1200 tok/s，上下文窗口设为 524,288 token；基于 1Cat-vLLM 分支（\#1277 合并点）完成 Volta sm70 适配。帖中还列出 CPU、内存、NVLink、功耗与软件版本等详细配置，并说明将测试 8 张 V100。适合在老款 V100 服务器上做本地大模型部署、关注 vLLM 分支与推理吞吐调优的人阅读。 ## 原帖 > TL;DR: I'm running DeepSeek-V4.1-Flash for a single user on four 2017-era V100 32 GB cards plus system RAM. Generation runs 36-38 tok/s from 8K to 75K context with thinking off, and 32-38 tok/s with thinking on. — TumbleweedNew6515 · 2026-11-03 · [原帖]() ## 中文大意 发帖人在四张 2017 年的 V100 32GB（SXM2、NVLink 互联、每卡 PCIe Gen3 x8 经 PLX 交换机共享单条 Gen3 x16 上行）加 256GB DDR4 内存上，用 1Cat-vLLM 的 vLLM 分支（\#1277）跑 DeepSeek-V4.1-Flash 的 IQ2\_XXS GGUF（约 232GB，另有 110.6GB Engram 表放内存），单用户、张量并行 4、约三分之一专家权重常驻主机内存按需换入。给出数据：8K–75K 上下文下解码 36–38 tok/s（思考开 32–38），预填约 1000–1200 tok/s，上下文长度设为 524288；冷 Engram 未入页缓存时降到约 25.9 tok/s，所以要预热；另附 llama-benchy 各深度预填/生成数据、引擎层每轮 27.8ms（上游参考 24.9ms）、四卡同时换专… ## 讨论区核心观点 依据 9 条评论。 - 有评论认为这个速度偏低，自称用 R9700 加 DDR5 和 Gen5 SSD 溢出、RCO IQ2 量化能跑到 25tg/约 300PP；也有四张 R9700 的用户报出 55–75 tok/s、约 1500 预填。（[出处]()） - 发帖人回应说瓶颈在于目前的上行带宽与量化选择，等跨两块板到 8 卡后上下文可超 1M，并能真正测并发、提高高频专家的量化精度，预期速度会明显超过他 DGX Spark 上的版本。（[出处]()） - 建议把冷专家放在 CPU 上跑而不是搬上 GPU：内存理论上约 170GB/s，远高于四卡共享的 12.9GB/s；并比较了张量并行、流水并行、专家并行的通信代价，指出有 NVLink 时张量并行更快，但仍值得试 CPU 冷专家。（[出处]()） - 有用户询问在 128GB 内存的 Xeon、三张无 NVLink 的卡上会怎样，发帖人回复可出售一张闲置 PCIe V100，对方称价格低于市场价。（[出处]()） - 发帖人称让模型（Opus）代为搭建环境时经常被无视，需强制它读 1cat 资料才不再坚持 nvfp4 与瘦 V100 的错误判断，并指出 1cat 公布的结果在解码上至少高 10 tok/s。（[出处]()） - 发帖人表示扩到 8 卡后分块预填至少能到 4096。（[出处]()） --- 来源：LearnMap · 学径（https://oplearnx.com）