单机 DDR3 服务器
Monolithic ddr3 server
r/LocalLLaMA 社区帖子。发帖者询问是否有人用类似机器做大模型推理，并附一台本地售价 550 美元的 Dell PowerEdge R820 配置：4× Xeon E5-4640（2.40–2.80GHz）、768GB ECC 内存（每条约 16GB）、2× 146GB 硬盘。其提到 DeepSeek 的激活参数已降到 8/16B，想了解再加一张 GPU 是否可行，并说明兴趣主要来自那些声称能在消费级桌面机上高速运行大型 MoE 模型的新项目。适合考虑用退役服务器大内存平台跑大模型、尤其是 MoE 模型的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-26
原帖
Do any of you guys run a server like this for inference of big models. Given deepseek is down to 8/16b active I'm curious as to whether this could start to make sense if I was to add a gpu. This server is local for $550 USD.
中文大意
发帖人 BobtheGodGamer 看上一台本地售价 550 美元的 Dell PowerEdge R820：4 颗 E5-4640（2.4–2.8GHz）、768GB ECC DDR3（每条约 16GB）、2 块 146GB HDD。他想知道有没有人用这类机器做大模型推理，考虑到 DeepSeek 现在激活参数降到 8/16B，再加一块 GPU 是否开始可行。他补充说兴趣主要来自近期那些宣称能在消费级桌面上超快跑大 MoE 模型的项目，并提到自己另有闲置 GPU 和 SSD，关心老架构是否会比估算的 150–200GB/s 内存带宽更限制他。适合关注二手企业级服务器、廉价大内存跑 MoE 推理的人阅读。
讨论区核心观点
依据 22 条评论
- 内存带宽才是真正瓶颈：DDR3 太慢，token 速度会很惨，GPU 只对能放进显存的层有帮助，其余仍受 DDR3 带宽限制。 出处（新标签页打开）
- 多条 DDR3 通道的带宽其实不低，可能高于消费级双通道 DDR4 甚至 DDR5，可用来卸载大 MoE 模型或做高并发下的 KV cache 卸载。 出处（新标签页打开）
- 这台机器是多通道内存，带宽大致相当于台式 DDR4；但 HDD 加载模型极慢，需要换 SSD。 出处（新标签页打开）
- 550 美元买到 768GB 内存风险很低：可以卖掉部分内存回本，保留足够条数保持全部通道，机箱还有多个 PCIe 插槽可挂多块 GPU。 出处（新标签页打开）
- CPU 架构太老是硬伤：Sandy Bridge 缺少 AVX2，跑模型很慢，最好换成 Haswell/Broadwell 平台；有人用类似老服务器实测只有约 1.5 tok/s。 出处（新标签页打开）
- 有人已搭过类似系统（老 Xeon/DDR3 + 两张 GPU），在 strata 下 Qwen 跑出约 50 tok/s、prefill 有时 1000 tok/s，强调一定要加 GPU。 出处（新标签页打开）