更多帖子
帖子进阶仅限授权使用

RTX PRO 4000 Blackwell SFF:Qwen3.8 27B 生成速度提升 67%,Qwen3.6 35B A3B 呈现不同扩展规律

RTX PRO 4000 Blackwell SFF: +67% generation on Qwen3.8 27B, different scaling on Qwen3.6 35B A3B

仅限授权使用:这是用于授权测试与研究的安全工具或资料,只能在你有权测试的系统上使用。
AI 导读

这是 Reddit r/LocalLLaMA 上的一则本地推理实验记录。作者在单张 RTX PRO 4000 Blackwell SFF(24GB GDDR7、出厂 70W、无辅助供电接口)上,通过加载修改后的 VBIOS 将功耗上限提高到 120W,并测试显存与核心偏移,未刷写 EEPROM 或焊接。共 158 次基准请求,测试 Qwen3.8 27B(DFlash2)与 Qwen3.6 35B A3B:27B 在 120W 并调校后生成速度从 35.04 tok/s 升至 58.53 tok/s(+67%),而 35B A3B 在 106W 至 120W 之间几乎持平;显存偏移对两者影响不同,prefill 变化很小。适合关注本地推理性能调优的读者。

分级
值得看
收录时间
2026-10-26

原帖

What surprised me was how differently they answered "does more power help?" With zero clock offsets, 27B kept gaining up to 120 W, while 35B A3B was almost flat between 106 and 120 W.

iam31337 · · 在 Reddit 查看原帖(新标签页打开)

中文大意

发帖人在一张 RTX PRO 4000 Blackwell SFF(24GB GDDR7、出厂 70W、无辅助供电接口)上做实验:用他人提供的加载器和打过补丁的 NVIDIA 开源内核模块,把修改过的 VBIOS 载入内存,将功耗上限提到 120W,并测试显存与核心频率偏移,未刷写 EEPROM、未焊接。共 158 次基准请求,测 Qwen3.8 27B(DFlash2)和 Qwen3.6 35B A3B。零偏移下 27B 一直受益到 120W,35B A3B 在 106–120W 几乎持平。综合调优后 27B 生成从 35.04 提升到 58.53 tok/s(+67%),对应 120W、显存 +20%、核心 +180MHz;该 67% 不是单靠显存超频。120W、核心零偏移时把显存从 +20% 推到 +33.3%,27B 反而从 57.70 降到 56.91 tok/s,SM 实际频…

讨论区核心观点

依据 10 条评论

  • 有评论者自己改装分流电阻的 4000 PRO SFF 长期跑 105W(约 6-7 个月、几乎全天候)无异常,认为 120W 是有风险的测试。 出处(新标签页打开)
  • 有人觉得 6-7 个月 105W 无问题相当令人安心,但 120W 确实有点过头。 出处(新标签页打开)
  • 发帖人回应称 120W 是自己的止步点,原因是 PCIe 供电路径;他碰到的是 NVML 偏移上限 +6000 而非稳定性极限,日常显存偏移用 +3600。 出处(新标签页打开)
  • 双方就超频单位与带宽展开讨论:对方是 MHz 口径 +7000(LACT 里 +14000),按发帖人机器的 9001MHz 读数推算约 32Gb/s、768GB/s,远超其测过的 +6000 甚至未加载的 +10000 上限补丁;对方称带宽约 700GB/s。 出处(新标签页打开)
  • 另一评论者的 T4 实测与 27B 曲线吻合:受功耗上限限制时显存跑满而 SM 时钟降到 33-42%,解码受功耗而非带宽约束,DFlash2 每轮验证 8 个 token 使密集模型更吃算力,这解释了显存超频超过 +20% 反而抢走 SM 功耗;A3B 每 token 读取权重更少,更偏带宽受限,因此显存超频仍有收益。他建议记录每次运行的 SM 时钟来验证。 出处(新标签页打开)
  • 有人担心通过插槽给主板供电的压力,并询问关闭 ECC 的好处。 出处(新标签页打开)