我对自托管 AI 智能体做了一次盲测，结果如下，猜猜谁是谁 [D]
I ran a blind test on self-hosted AI agents. Here are the results, guess who's who [D]
这是 r/MachineLearning 的社区帖子，作者在 M5 Max MacBook Pro（64GB）上，让五个自托管智能体（OpenCode、goose、Atomic Agent、Hermes、OpenClaw）使用同一个 Qwen 3.8 27B 非审查版 Q4_K_M 模型在 llama.cpp 中运行，执行合并联系人列表、跨文件重命名函数、修复带隐藏测试的 bug、统计日志错误数、把收据 PDF 转成表格五项任务，并给出各智能体的逐项通过情况与耗时。作者提到其中一个智能体把“Q3/Q4”写成“q3q4”，另有智能体未经询问就安装缺少的 Python 库，并邀请读者猜字母与智能体的对应关系。适合对自托管编码智能体的实际任务表现和自主性取舍感兴趣的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-26
原帖
On my actual hardware, that's the behavior I'd want.
中文大意
发帖人在自己的 M5 Max MacBook Pro（64GB）上做了一次自托管 AI agent 盲测：5 个 agent 全部跑同一个 Qwen 3.8 27B uncensored Q4_K_M（llama.cpp），完成 5 个日常任务——合并含重名和杂乱邮箱的联系人列表、跨 3 个文件重命名函数、修带隐藏测试的 bug、统计 3 个日志文件的报错数、把收据 PDF 转成表格。一次只跑一个、自动批准、用脚本判分。结果显示：前两项 5 个全过；修 bug 有 4 个过，C 把 "Q3/Q4" 写成 "q3q4"；数日志全部得出 43；PDF 转表格 4 个过，A 和 B 未询问就自行安装缺失的 Python 库，C 停下来问"能装吗"但没人回答，因而算失败——发帖人表示在无人看管的情况下，自己实际硬件上想要的是 C 这种先问的行为。帖子附了各 agent 分项用时和总用时，隐藏了名…
讨论区核心观点
依据 4 条评论
- 质疑实验的样本量和方法透明度，问做了多少次重复测试、是否提供可复现的说明。 出处（新标签页打开）
- 对盲测设计有疑问：既然底层模型都是同一个 Qwen，那"猜 agent"到底在猜什么，是不是在比较 OpenCode、Claude Code、Qwen Code 这类外壳。 出处（新标签页打开）
- 发帖人回应称 C 确实说了要先获得许可，并反问大家觉得 A 和 E 分别是哪个。 出处（新标签页打开）