# Agent组队干活，最强模型只完成50%任务！基准评测协作能力 - 原标题：Agent组队干活，最强模型只完成50%任务！基准评测协作能力 - 类型：博客 - 来源：新智元 - 发布时间：2026-10-11 - 首次精选：2026-11-03 21:30 - 分级：值得看 - 是否付费：免费（全文公开可读） - 预估学习时长：约 10 分钟（按全文字数估算） - 学习层级：进阶 - 主题：[multi-agent-workflows]()（第 48 位）、[agent-evaluation-reliability]()（第 79 位） - 原文链接：[https://aiera.com.cn/asi-post.html?id=118040]() - 本站页面：[https://oplearnx.com/resources/pk\_6801dc0ba358]() ## 摘要 新智元报道，介绍 OpenAgents、哥伦比亚大学、宾夕法尼亚大学、首尔大学和宾夕法尼亚州立大学等机构共同构建的多智能体协作评测基准 AgentWorld，其特点是长时程任务、角色不对称与黑盒交互，并配有程序化规则检查目标和 CCE 指标追溯行动贡献。文中给出论文、项目网站与代码仓库链接，并称四个主模型实验中主任务集最高成功率 52.0%。 ## 中文精读 ### 1. 开头：从“超级个体”到“能否合作” - 个体AI Agent能力不断增强，能独立完成写代码、开发软件、检索文献、辅助科研等工作，随之浮现的问题是它们能否合作。 - 报道以组建公司、造火箭登月作类比：复杂成就依赖团队分工、信息共享与环节衔接，个体能力之外组织与协作同样决定能走多远。 - OpenAgents、哥伦比亚大学、宾夕法尼亚大学、首尔大学和宾夕法尼亚州立大学的研究者共同构建了AgentWorld，一个面向多智能体协作能力的评测基准（benchmark）。 - 研究关注的是：多个智能体拥有不同角色、能力与资源、需共同完成任务时，能否有效分工、保持信息同步并把各自行动连接起来达成共同目标。 - AgentWorld的特色是把长时程任务、角色不对称和黑盒交互放进同一环境；高层工具减少低层控制干扰，程序化规则检查目标是否完成，并提出CCE指标追溯哪些行动与消息对结果有贡献。 ### 2. AgentWorld简介：十智能体团队进入RPG世界 - 场景设定为10个智能体组成的团队进入角色扮演游戏（RPG）世界；示例任务是给法师做魔法杖：伐木工采木材、木工加工成木棒、法师用木棒与自有材料完成制作。 - 看似只需各司其职，但问题可能出在任何一次交接：木材交给谁、木棒是否备好、队友完成的步骤是否重复、任务未完成时是否有人提前宣布收工。 - AgentWorld让多个大语言模型驱动的智能体在同一持续变化的环境中分工、沟通、共享资源并共同完成任务。 - 论文报告的四个主模型实验中，主任务集最高成功率为52.0%，由此提出：单Agent能力提升时，团队层面的协作还缺什么。 - 环境示例图中不同角色各有视角并通过游戏内聊天交流；截图是十智能体团队，不对应下文的三人魔法杖任务。 ### 3. 把“会协作”变成可测量的能力 - 仅让几个模型各自答题再汇总，无法知道它们是否理解彼此职责、能否在资源不足时调整分工、能否依据队友最新进展修改计划。 - AgentWorld把这些放进MMORPG沙盒：有可采集资源、可制作物品、敌人和位于不同位置的队友，智能体行动会改变环境并影响他人下一步可做的事。 - 游戏提供可执行、可观察的协作场景，评测关注团队能否把共同目标推进到完成。 - 任务集含100个人工设计任务和100个增强变体，覆盖战斗、制作、采集、交易、探索、生存、建造和协调等类型。 - 任务需3至20个智能体参与，许多包含连续的资源交接与行动依赖，使协作从合理解释的对话变成必须真正发生的动作序列。 ### 4. 三个设计让协作难题显现出来 - 角色不对称：不同智能体拥有不同技能、物品和初始条件，队伍需据此安排工作而非全员执行同一动作；魔法杖任务中伐木、加工、制作构成依赖链，仍需解决谁先做、交给谁、何时交。 - 黑盒交互：智能体不能读取队友内部推理状态，只能通过环境观察、聊天和行动结果判断队友在做什么，“我以为队友已经做完了”成为真实失败来源。 - 多轮执行：开局计划覆盖不了后续变化，队伍需持续更新资源是否到位、队友是否需支援、原分工是否仍有效；主任务设数十轮执行预算。 - 为减少低层操作干扰，AgentWorld提供13个高层API工具，如采集或攻击工具封装导航与执行流程，让模型把决策放在“下一步做什么”和“与谁配合”上。 - 这并不排除规划与工具使用的影响，只是让协作问题更容易被观察与分析。 ### 5. 最强的团队完成约一半任务，聊天更多也未必更好 - 在统一提示模板、工具定义和交互协议下评测Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini和DeepSeek R1-70B四个模型驱动的团队。 - 主任务集成功率依次为52.0%、45.0%、36.0%、20.0%；增强任务集为24.0%、26.0%、21.0%、10.0%。 - “做到一部分”与“真正做完”存在差距：Gemini 3 Flash在主任务集部分成功率71.5%、完整成功率52.0%，中间目标推进不保证最后的交接或制作完成。 - 通信量并非越多越好：GPT-5 Mini平均每主任务发44.1条聊天消息、成功率36.0%；Gemini 3 Flash平均发11.0条、成功率52.0%。 - 这组结果不能证明少聊天会提升成功率，但说明消息数量不能替代协作质量；更值得看的是消息是否更新有效信息、消除分工歧义、促使接收方行动。 ### 6. 完成任务之外，还要追问哪些行动帮上了忙 - 只统计成功率不足以描述团队工作方式：分工顺畅的团队与经历重复采集、无效等待、信息误解的团队会得到相同成功标签。 - 为此论文提出Causal Collaboration Effectiveness（CCE，因果协作有效性），从最终完成的目标往回看，统计被判定推动了结果的行动数量。 - CCE的追溯方式：从完成目标的动作出发沿时间回溯，看制作依赖哪些材料、材料来自哪次转移、转移依赖谁的采集或加工，借助大语言模型判断候选动作间的因果依赖，逐步构建行动关系图。 - 计算式为成功任务的CCE=被判定有贡献的动作数÷团队执行的总动作数；图4示意轨迹中27个动作有12个进入贡献链，CCE≈44.4%。 - 若一条消息提供了后续行动所依赖的信息，也可能进入贡献链，是否计入取决于具体轨迹和判断规则；失败任务的CCE按定义记为0，这是计分约定，不意味失败过程的尝试毫无价值。 - 跨任务平均CCE同时受成功率和成功轨迹贡献比例影响，应与成功率、部分成功率结合阅读，不宜当作独立的“团队默契分”；平均每任务动作占比不等同于汇总后的总体占比，未被回溯的动作也不等于毫无意义，必要探索与判断误差都需考虑。 ### 7. 从重复劳动到提前收工：失败发生在协作细节里 - 论文对通信轨迹的分析归纳出多类失败：重复询问已经解决的问题、认错角色或资源接收者、报告错误的物品信息、关键步骤尚未完成就宣布任务结束。 - 这些现象说明，多Agent系统需要维护的不只是任务计划，还有不断变化的团队状态。 - 对系统开发者而言，AgentWorld提供进一步实验的场景：明确的角色分工能否减少误解、共享记忆能否帮助队伍同步进展、集中规划与分布执行各有什么优势、新的通信机制究竟提高完成率还是只增加消息量。 - 文中指出这些都应通过对照实验回答；协作benchmark的作用是让方法改进落在相同任务、相同规则和可复查的执行记录上。 ### 8. 从“各自能干”走向“共同完成” - AgentWorld的实验不足以把协作困难归结为所有大模型的普遍上限：结果对应特定模型、提示、工具接口和执行协议，更丰富的规划、记忆或通信设计仍有探索空间。 - 它把问题具体化：衡量Agent团队既要看成员能做什么，也要看它们能否在彼此依赖的条件下共同把事情做完。 - 随着多智能体系统用于更复杂工作流程，协作能力评测需从对话质量延伸到实际行动，AgentWorld提供了可运行、可比较的实验环境。 --- 来源：LearnMap · 学径（https://oplearnx.com）