[GPU Lawyer] 在 4 张 32GB V100 上运行 Deepseek 4.1 Flash 1018：解码接近 40 tok/s，下一步测试 8 张 V100
[GPU Lawyer] Deepseek 4.1 Flash 1018 on 4 32GB V100s -- pushing 40 tok/s decode, and will test across 8 v100s next.
这是一篇 Reddit r/LocalLLaMA 的社区帖子，作者公布在 4 张 2017 年的 V100 32GB SXM2 显卡加系统内存上、面向单用户运行 DeepSeek-V4.1-Flash 的实测结果：关闭思考时 8K 至 75K 上下文下生成速度 36–38 tok/s，开启思考时 32–38 tok/s，预填充约 1000–1200 tok/s，上下文窗口设为 524,288 token；基于 1Cat-vLLM 分支（#1277 合并点）完成 Volta sm70 适配。帖中还列出 CPU、内存、NVLink、功耗与软件版本等详细配置，并说明将测试 8 张 V100。适合在老款 V100 服务器上做本地大模型部署、关注 vLLM 分支与推理吞吐调优的人阅读。
- 分级
- 值得看
- 是否付费
- 免费公开帖子
- 预估学习时长
- 约 6 分钟按全文字数估算
- 收录时间
- 2026-11-04
原帖
TL;DR: I'm running DeepSeek-V4.1-Flash for a single user on four 2017-era V100 32 GB cards plus system RAM. Generation runs 36-38 tok/s from 8K to 75K context with thinking off, and 32-38 tok/s with thinking on.
中文大意
发帖人在四张 2017 年的 V100 32GB（SXM2、NVLink 互联、每卡 PCIe Gen3 x8 经 PLX 交换机共享单条 Gen3 x16 上行）加 256GB DDR4 内存上，用 1Cat-vLLM 的 vLLM 分支（#1277）跑 DeepSeek-V4.1-Flash 的 IQ2_XXS GGUF（约 232GB，另有 110.6GB Engram 表放内存），单用户、张量并行 4、约三分之一专家权重常驻主机内存按需换入。给出数据：8K–75K 上下文下解码 36–38 tok/s（思考开 32–38），预填约 1000–1200 tok/s，上下文长度设为 524288；冷 Engram 未入页缓存时降到约 25.9 tok/s，所以要预热；另附 llama-benchy 各深度预填/生成数据、引擎层每轮 27.8ms（上游参考 24.9ms）、四卡同时换专…
讨论区核心观点
依据 9 条评论
- 有评论认为这个速度偏低，自称用 R9700 加 DDR5 和 Gen5 SSD 溢出、RCO IQ2 量化能跑到 25tg/约 300PP；也有四张 R9700 的用户报出 55–75 tok/s、约 1500 预填。 出处（新标签页打开）
- 发帖人回应说瓶颈在于目前的上行带宽与量化选择，等跨两块板到 8 卡后上下文可超 1M，并能真正测并发、提高高频专家的量化精度，预期速度会明显超过他 DGX Spark 上的版本。 出处（新标签页打开）
- 建议把冷专家放在 CPU 上跑而不是搬上 GPU：内存理论上约 170GB/s，远高于四卡共享的 12.9GB/s；并比较了张量并行、流水并行、专家并行的通信代价，指出有 NVLink 时张量并行更快，但仍值得试 CPU 冷专家。 出处（新标签页打开）
- 有用户询问在 128GB 内存的 Xeon、三张无 NVLink 的卡上会怎样，发帖人回复可出售一张闲置 PCIe V100，对方称价格低于市场价。 出处（新标签页打开）
- 发帖人称让模型（Opus）代为搭建环境时经常被无视，需强制它读 1cat 资料才不再坚持 nvfp4 与瘦 V100 的错误判断，并指出 1cat 公布的结果在解码上至少高 10 tok/s。 出处（新标签页打开）
- 发帖人表示扩到 8 卡后分块预填至少能到 4096。 出处（新标签页打开）