为一家 10 人初创公司搭建 4 卡 R9700 配置
Building a 4x R9700 setup for a 10 person startup
r/LocalLLaMA 社区帖子，作者分享为一位客户搭建的一套约 1.8 万美元的推理机器：Threadripper 9970x、128GB DDR5 ECC 5600 内存、4 张 AMD Radeon R9700 AI Pro 32GB（合计 128GB 显存）、1600W 电源（显卡降压后每张低于 210W）。软件上使用 Radiance 的一个分支来服务 Qwen 3.8 Next flash/27b 和 DSV4 Flash，并给出 16 路并发下的 prefill/decode 吞吐数据，覆盖 4k 到 128k 不同上下文长度。适合自行搭建多卡本地推理硬件、关注 AMD 显卡与小团队部署方案的人阅读。
- 分级
- 值得看
- 所属主题
- 整理中
- 收录时间
- 2026-10-26
原帖
Just wanted to share a build I am doing for a client. $18k. Specs: Threadripper 9970x 128gb DDR5 ECC 5600 4x AMD Radeon R9700 AI Pro 32gb(128gb total VRAM) 1600W PSU(GPUs are undervolted and under 210w each)
中文大意
发帖人分享为一家 10 人初创公司客户搭建的本地推理服务器：预算 1.8 万美元，配置 Threadripper 9970x、128GB DDR5 ECC 5600、4 张 AMD Radeon R9700 AI Pro 32GB（合计 128GB 显存）、1600W 电源（显卡降压后单卡功耗低于 210W），推理引擎用 Radiance 的一个分支，服务 Qwen 3.8 Next Flash/27b 和 DSV4 Flash。给了两组数据：Qwen 3.8 27b MXFP4 下支持 16 路并发，聚合 prefill 6.3–6.8k tok/s、decode 900→80 tok/s（单会话上下文 4k–128k）；Qwen 3.8 Next Flash int4fp8 下，48K/用户时 prefill 6,880 tok/s、decode 538.5 tok/s，128K/用…
讨论区核心观点
依据 40 条评论
- 不少人认为这印证了本地模型对小团队已足够可用：自 8 月起模型小到、聪明到值得中小企业自建，已有多个初创公司本地部署的案例。 出处（新标签页打开）
- 争议最大的一点：本地模型仍远比前沿模型难调，长上下文需要人工管理会话；初创团队若让开发者花半天折腾上下文和 harness，反而没有生产力收益，且每人可能都需要一台这样的机器。 出处（新标签页打开）
- 反方观点：规模效应真实存在，批处理、分页注意力等使多路并发的边际成本很低，正因如此才建一台全公司共用的服务器而不是人手一台 AI 笔记本；云计算的规模经济与便利性也让大厂订阅长期有市场。 出处（新标签页打开）
- 本地与前沿各有适用场景：敏感数据、成本敏感的工作负载适合本地，需要最高质量和稳定性的复杂任务仍靠订阅；有人两边都用并定期在同一任务上对比。 出处（新标签页打开）
- 关于大厂商业模式：有人认为 OpenAI/Anthropic 的训练基建投入与订阅定价无法覆盖成本，风投补贴退潮后要么大幅涨价要么出局。 出处（新标签页打开）
- 讨论还涉及 harness 生态：harness 对模型竞争力很关键，但选项太多、迭代太快，除全职投入外很难深入探索，多数人只能靠公开榜单和他人经验筛选。 出处（新标签页打开）