在 4 块 R9700 上对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B：我的工作负载下的实际 TPS 与每小时任务数
Qwen 3.8 27B vs Nanbeige 4.3 33B on 4xR9700s: Real World TPS and jobs/hour on my workload
这是 r/LocalLLaMA 的一篇社区帖子，作者此前发布过用 127 美元二手 EPYC 搭建 4 卡 R9700 机器的方案，本次在同一套硬件上对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B。他以自己公司维护枪械相关商家信息（营业时间、价格、设施等）的实际工作为负载，让两套配置各跑同样的 2,484 个案例，以审计员身份输出接受、拒绝或弃权，并统计吞吐、每日经核实的正确任务数、准确率，以及 1/4/8 路并发下的 token 速度。帖子还提到 Qwen 在思考模式下审计自身结果的表现优于 Nanbeige，并在结尾向做编程或创意写作测试的人征询情况。适合关注本地多卡推理部署、按实际业务任务而非纯跑分评估模型的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-29
原帖
Qwen was about 25% faster in the single-stream token test, but delivered about 45% more jobs/hour with thinking off than Nanbeige.
中文大意
发帖人是此前分享过 4×R9700 配 127 美元二手 EPYC 整套方案的用户。他在自家业务（维护枪械相关商家信息）上用同一批 2,484 个案例、25 个字段级 goldens，以审计员角色（接受/拒绝/弃权）对比 Qwen 3.8 27B 与 Nanbeige 4.3 33B。数据：关闭思考时 Qwen 每小时处理 1,855 个任务、Nanbeige 1,281；有效正确任务分别为 1,174 和 798；准确率关闭思考 77.4% vs 76.2%，开启思考 86.6% vs 82.4%。双卡引擎单流输出 Qwen 38.4 tok/s、Nanbeige 30.7，8 并发分别为 246.0 和 214.0。他还提到 Qwen 开启思考审计自身的结果好于 Nanbeige。他想问做代码或创意写作的人是否看到 Nanbeige 的不同表现。适合关注本地推理实际吞吐与业务落地的读…
讨论区核心观点
依据 11 条评论
- 不少人认为 Nanbeige 目前不好用，量化困难、KV 缓存占用极大，导致实际可用性远不如 Qwen。 出处（新标签页打开）
- 也有观点认为它并非“垃圾”，是同参数规模里第一个能接近 Qwen 3.8 27B 通用能力的本地模型，但结论仍是 Qwen 明显更好。 出处（新标签页打开）
- 有人从架构设计推测 Nanbeige 更像是为当教师模型或基座模型而设计。 出处（新标签页打开）
- 发帖人回应：量化后答案质量尚可（好于 Gemma、不如 Qwen），全精度太慢不可用，量化并未破坏模型。 出处（新标签页打开）
- 有评论者认为发帖人硬件被瓶颈限制，称自己用默认配置单流可达 180 tok/s。 出处（新标签页打开）
- 其他人反馈类似体验：在 3090 上太慢，工具调用和子代理创建不如 Qwen 3.8 27B 可靠；也有人建议这么大的机器该跑更大的模型（如 Qwen-Flash-Next、GLM-5.3-flash）。 出处（新标签页打开）