更多项目
项目深入

QwenLM/BabelArena

AI 导读

一个 GitHub 仓库(Apache-2.0 许可),README 介绍 BabelArena:面向 LLM 智能体的多语言基准,从四个智能体基准家族中取 699 个标准任务、覆盖 13 个领域,各改编为 23 种语言,共 16,077 个任务实例;每个语言变体保留原任务身份和评估标准以便跨语言对比。变体由代理式工作流 BabelFlow 构建,经多层验证与人工审核后采纳。对五个前沿模型的评测显示,没有单一模型在四个家族上全面领先,低资源语言出现更多工具使用与控制流错误、相同任务下输入 token 可达英语的约两倍等。仓库附有 arXiv 论文链接(arXiv:2609.23490)。

分级
值得看
收录时间
2026-10-26

热度

7 天新增 star
+12
30 天新增 star
+12
Hacker News
没有
社区讨论
0 帖

项目信息

语言
Python
许可
未声明
最近提交
2026-10-23
Star
12
Fork
2

上手方式

bash
git clone https://code.alibaba-inc.com/alitranx/BabelArena.git
cd BabelArena
pip install pyyaml
./bench setup                                   # one virtualenv per benchmark + sandbox image
./bench fetch-data --source /path/to/BabelArena-data

摘自 README(新标签页打开)