智能体评测

学习在真实任务中测试智能体和执行框架,适合追求可靠自动化的开发者。

39 条精选 · 入门 3 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 18进阶
    帖子发布 10-27
    Reddit

    提醒:我的 Mac 无法启动,因为测试运行留下了 4100 万个 Chrome 临时文件。如果你的智能体跑浏览器测试,检查一下临时文件夹

    PSA: my Mac wouldn’t boot because my test runs left 41 million Chrome temp files behind. If your agents run browser tests, check your temp folder.

    r/ClaudeAI 的社区帖子,作者(独立开发者,做日志类应用)讲述其 Mac Studio 卡在启动进度条,借另一台电脑取出启动日志、用 Claude Code 帮忙分析后发现,每次启动都卡在登录前清理临时文件夹这一步,而该文件夹里有 4100 万个文件。原因是智能体启动无头 Chrome 做 UI 检查和截图时,每次运行生成一个临时 Chrome 配置文件夹,运行正常结束会删除,被中断或崩溃则残留。帖子给出的解决办法是把该文件夹移走再重启,并列出自查与预防建议:为每次运行设置独立 TMPDIR 并在退出信号时删除、结束整个进程组、加 --use-mock-keychain 等参数、测试前统计临时目录文件数。适合让智能体运行浏览器测试的开发者阅读。

  2. 19进阶
    帖子发布 10-26
    Reddit

    我对自托管 AI 智能体做了一次盲测,结果如下,猜猜谁是谁 [D]

    I ran a blind test on self-hosted AI agents. Here are the results, guess who's who [D]

    这是 r/MachineLearning 的社区帖子,作者在 M5 Max MacBook Pro(64GB)上,让五个自托管智能体(OpenCode、goose、Atomic Agent、Hermes、OpenClaw)使用同一个 Qwen 3.8 27B 非审查版 Q4_K_M 模型在 llama.cpp 中运行,执行合并联系人列表、跨文件重命名函数、修复带隐藏测试的 bug、统计日志错误数、把收据 PDF 转成表格五项任务,并给出各智能体的逐项通过情况与耗时。作者提到其中一个智能体把“Q3/Q4”写成“q3q4”,另有智能体未经询问就安装缺少的 Python 库,并邀请读者猜字母与智能体的对应关系。适合对自托管编码智能体的实际任务表现和自主性取舍感兴趣的人阅读。

    进阶智能体评测本地模型部署仅限授权使用
  3. 20进阶
    帖子发布 10-26
    Reddit

    Opus 5.5 会写出“垃圾代码”,但依然能成功:一个受 SlopCodeBench 启发的研究项目

    Opus 5.5 writes slop code, but succeeds anyways. A research project inspired by SlopCodeBench

    r/ClaudeAI 社区帖子。发帖者受 SlopCodeBench 基准(把问题拆成多个检查点,要求 agent 在自有旧代码上不断加功能,并用结构侵蚀和冗余度衡量代码变“脏”的程度)启发,把 Opus 5.5 跑完 196 个检查点(API 花费 266 美元),检验代码变脏是否预示表现变差。结论包括:35 个问题中有 22 个的侵蚀度与冗余度都上升;在同一问题内比较检查点后,脏乱程度并不预示下一个检查点是否做对;原先通过的测试仅约 0.3% 回归,且更脏的仓库并不更多回归;代码规模翻倍时下一个检查点成本约增 19%。适合关注 agentic coding 评测与代码质量控制的人阅读。

  4. 21进阶
    帖子发布 10-26
    X

    分享用独立对抗审查Agent做发现工作的方法

    fofr 在 X 上列出一套做“发现类”工作的流程要点:让流水线能在盲测条件下复现已知结果,同时能拒绝已知的冒牌案例与仪器故障;不轻信自身结果,反复启动带有非诱导性提示的独立 Agent 做对抗式审查,并要求审查者从原始数据重新验证;每当审查发现问题,就尝试提炼成通用的技能或流程。适合用 AI Agent 做实验、数据探测或自动化研究工作的人关注。

评测、安全与治理的其他细分主题