项目深入
QwenLM/BabelArena
一个 GitHub 仓库(Apache-2.0 许可),README 介绍 BabelArena:面向 LLM 智能体的多语言基准,从四个智能体基准家族中取 699 个标准任务、覆盖 13 个领域,各改编为 23 种语言,共 16,077 个任务实例;每个语言变体保留原任务身份和评估标准以便跨语言对比。变体由代理式工作流 BabelFlow 构建,经多层验证与人工审核后采纳。对五个前沿模型的评测显示,没有单一模型在四个家族上全面领先,低资源语言出现更多工具使用与控制流错误、相同任务下输入 token 可达英语的约两倍等。仓库附有 arXiv 论文链接(arXiv:2609.23490)。
- 分级
- 值得看
- 收录时间
- 2026-10-26
热度
- 7 天新增 star
- +12
- 30 天新增 star
- +12
- Hacker News
- 没有
- 社区讨论
- 0 帖
项目信息
- 语言
- Python
- 许可
- 未声明
- 最近提交
- 2026-10-23
- Star
- 12
- Fork
- 2
上手方式
bash
git clone https://code.alibaba-inc.com/alitranx/BabelArena.git
cd BabelArena
pip install pyyaml
./bench setup # one virtualenv per benchmark + sandbox image
./bench fetch-data --source /path/to/BabelArena-data