智能体性够强吗？用你自己的工具链评测开放模型

Is it agentic enough? Benchmarking open models on your own tooling

AI 导读

文章讨论编码智能体使用软件库的方式，提出库除了正确和快速，还应便于智能体驱动。作者以 transformers 为案例，构建了一个关注“答案如何得出”而不只是最终答案的工具专用评测框架，测量不同模型、库版本和任务下找到答案所需的工作量，并给出完全基于开放模型和 pi 编码智能体的简单实现。