Agent组队干活，最强模型只完成50%任务！基准评测协作能力

中文精读

原文约 3,615 词 · 8 节

1. 开头：从“超级个体”到“能否合作”

   • 个体AI Agent能力不断增强，能独立完成写代码、开发软件、检索文献、辅助科研等工作，随之浮现的问题是它们能否合作。
   • 报道以组建公司、造火箭登月作类比：复杂成就依赖团队分工、信息共享与环节衔接，个体能力之外组织与协作同样决定能走多远。
   • OpenAgents、哥伦比亚大学、宾夕法尼亚大学、首尔大学和宾夕法尼亚州立大学的研究者共同构建了AgentWorld，一个面向多智能体协作能力的评测基准（benchmark）。
   • 研究关注的是：多个智能体拥有不同角色、能力与资源、需共同完成任务时，能否有效分工、保持信息同步并把各自行动连接起来达成共同目标。
   • AgentWorld的特色是把长时程任务、角色不对称和黑盒交互放进同一环境；高层工具减少低层控制干扰，程序化规则检查目标是否完成，并提出CCE指标追溯哪些行动与消息对结果有贡献。

2. AgentWorld简介：十智能体团队进入RPG世界

   • 场景设定为10个智能体组成的团队进入角色扮演游戏（RPG）世界；示例任务是给法师做魔法杖：伐木工采木材、木工加工成木棒、法师用木棒与自有材料完成制作。
   • 看似只需各司其职，但问题可能出在任何一次交接：木材交给谁、木棒是否备好、队友完成的步骤是否重复、任务未完成时是否有人提前宣布收工。
   • AgentWorld让多个大语言模型驱动的智能体在同一持续变化的环境中分工、沟通、共享资源并共同完成任务。
   • 论文报告的四个主模型实验中，主任务集最高成功率为52.0%，由此提出：单Agent能力提升时，团队层面的协作还缺什么。
   • 环境示例图中不同角色各有视角并通过游戏内聊天交流；截图是十智能体团队，不对应下文的三人魔法杖任务。

3. 把“会协作”变成可测量的能力

   • 仅让几个模型各自答题再汇总，无法知道它们是否理解彼此职责、能否在资源不足时调整分工、能否依据队友最新进展修改计划。
   • AgentWorld把这些放进MMORPG沙盒：有可采集资源、可制作物品、敌人和位于不同位置的队友，智能体行动会改变环境并影响他人下一步可做的事。
   • 游戏提供可执行、可观察的协作场景，评测关注团队能否把共同目标推进到完成。
   • 任务集含100个人工设计任务和100个增强变体，覆盖战斗、制作、采集、交易、探索、生存、建造和协调等类型。
   • 任务需3至20个智能体参与，许多包含连续的资源交接与行动依赖，使协作从合理解释的对话变成必须真正发生的动作序列。

4. 三个设计让协作难题显现出来

   • 角色不对称：不同智能体拥有不同技能、物品和初始条件，队伍需据此安排工作而非全员执行同一动作；魔法杖任务中伐木、加工、制作构成依赖链，仍需解决谁先做、交给谁、何时交。
   • 黑盒交互：智能体不能读取队友内部推理状态，只能通过环境观察、聊天和行动结果判断队友在做什么，“我以为队友已经做完了”成为真实失败来源。
   • 多轮执行：开局计划覆盖不了后续变化，队伍需持续更新资源是否到位、队友是否需支援、原分工是否仍有效；主任务设数十轮执行预算。
   • 为减少低层操作干扰，AgentWorld提供13个高层API工具，如采集或攻击工具封装导航与执行流程，让模型把决策放在“下一步做什么”和“与谁配合”上。
   • 这并不排除规划与工具使用的影响，只是让协作问题更容易被观察与分析。

5. 最强的团队完成约一半任务，聊天更多也未必更好

   • 在统一提示模板、工具定义和交互协议下评测Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini和DeepSeek R1-70B四个模型驱动的团队。
   • 主任务集成功率依次为52.0%、45.0%、36.0%、20.0%；增强任务集为24.0%、26.0%、21.0%、10.0%。
   • “做到一部分”与“真正做完”存在差距：Gemini 3 Flash在主任务集部分成功率71.5%、完整成功率52.0%，中间目标推进不保证最后的交接或制作完成。
   • 通信量并非越多越好：GPT-5 Mini平均每主任务发44.1条聊天消息、成功率36.0%；Gemini 3 Flash平均发11.0条、成功率52.0%。
   • 这组结果不能证明少聊天会提升成功率，但说明消息数量不能替代协作质量；更值得看的是消息是否更新有效信息、消除分工歧义、促使接收方行动。

6. 完成任务之外，还要追问哪些行动帮上了忙

   • 只统计成功率不足以描述团队工作方式：分工顺畅的团队与经历重复采集、无效等待、信息误解的团队会得到相同成功标签。
   • 为此论文提出Causal Collaboration Effectiveness（CCE，因果协作有效性），从最终完成的目标往回看，统计被判定推动了结果的行动数量。
   • CCE的追溯方式：从完成目标的动作出发沿时间回溯，看制作依赖哪些材料、材料来自哪次转移、转移依赖谁的采集或加工，借助大语言模型判断候选动作间的因果依赖，逐步构建行动关系图。
   • 计算式为成功任务的CCE=被判定有贡献的动作数÷团队执行的总动作数；图4示意轨迹中27个动作有12个进入贡献链，CCE≈44.4%。
   • 若一条消息提供了后续行动所依赖的信息，也可能进入贡献链，是否计入取决于具体轨迹和判断规则；失败任务的CCE按定义记为0，这是计分约定，不意味失败过程的尝试毫无价值。
   • 跨任务平均CCE同时受成功率和成功轨迹贡献比例影响，应与成功率、部分成功率结合阅读，不宜当作独立的“团队默契分”；平均每任务动作占比不等同于汇总后的总体占比，未被回溯的动作也不等于毫无意义，必要探索与判断误差都需考虑。

7. 从重复劳动到提前收工：失败发生在协作细节里

   • 论文对通信轨迹的分析归纳出多类失败：重复询问已经解决的问题、认错角色或资源接收者、报告错误的物品信息、关键步骤尚未完成就宣布任务结束。
   • 这些现象说明，多Agent系统需要维护的不只是任务计划，还有不断变化的团队状态。
   • 对系统开发者而言，AgentWorld提供进一步实验的场景：明确的角色分工能否减少误解、共享记忆能否帮助队伍同步进展、集中规划与分布执行各有什么优势、新的通信机制究竟提高完成率还是只增加消息量。
   • 文中指出这些都应通过对照实验回答；协作benchmark的作用是让方法改进落在相同任务、相同规则和可复查的执行记录上。

8. 从“各自能干”走向“共同完成”

   • AgentWorld的实验不足以把协作困难归结为所有大模型的普遍上限：结果对应特定模型、提示、工具接口和执行协议，更丰富的规划、记忆或通信设计仍有探索空间。
   • 它把问题具体化：衡量Agent团队既要看成员能做什么，也要看它们能否在彼此依赖的条件下共同把事情做完。
   • 随着多智能体系统用于更复杂工作流程，协作能力评测需从对话质量延伸到实际行动，AgentWorld提供了可运行、可比较的实验环境。