BenchMIRT：LLM 基准测试究竟在测量什么？

BenchMIRT: What are LLM benchmarks actually measuring?

AI 导读

文章介绍 AI2 提出的 BenchMIRT，一种在单条提示（即具体的题目和任务）层面审视 LLM 基准的方法。文中以 BBQ 中涉及祖孙打车的问题为例，说明单个题目可能同时依赖年龄偏见之外的身份追踪和证据推理能力，也以 WildJailbreak 为例说明同一基准中有害提示与良性提示分别更贴近安全性和通用推理，将其简单平均会掩盖差异。文中附有技术报告、数据集合和代码链接。适合评测研究与模型评估方向的人员阅读。