学习基准设计、模型比较和实验可信度，适合阅读评测或设计实验的读者。
39 条精选 · 入门 5 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
JEV arena blog and benchmark
r/LocalLLaMA 社区帖子，作者做了一个小型 2D 格斗游戏，由语言模型决定每一步动作：模型获得当前血量、距离、对手动作和可选动作，再决定接近、格挡、踢腿或发火球。当前排行榜包含 18 个模型、306 场对局，每对模型交换阵营各打一次；游戏会等待双方回答，因此 API 延迟不影响胜负。用户可自带选手：选模型和角色、写策略与防守指令、取昵称提交，自定义配置有单独排行榜并可观看对局。游戏还有一个 mental_attack 动作：不攻击而是把预设消息注入对手的下一次提示，消耗一次物理动作且有冷却，不能直接改变血量或游戏状态。代码开源，可本地运行并用 JSON 定义选手和可续赛的锦标赛；录好的对局和内置机器人可离线无密钥运行，新的 API 对局需自备密钥。适合关注 LLM 对抗式评测、想比较不同模型决策与提示注入策略的人阅读。
DishwasherBench – Can Frontier Models Stack a Dishwasher?
这是一个用于评测语言模型的 GitHub 项目：内置名为 Spotless 的洗碗机装载游戏，基于一台真实机器（Bosch SMV4HAX40G）的物理仿真，玩家在浏览器中按刚体物理装载 3D 物件，并按 Eco 50 程序模拟水流、污渍与洗涤剂作用，按洗干净的件数计分。项目强调装载结果确定可复现、每次对局都是可由他人重放验证的记录，人类通过浏览器游玩，模型通过 MCP 接口游玩。
Harness2 by Google Research – Recursive Agent Harnessing
这是 Google Research 发布的框架 Harness²，用于开放世界中的递归式智能体 harnessing。它把 harness（围绕模型的提示、工具、记忆、技能、编排等系统）和 harnessing（优化该系统）在模型权重固定的前提下分两个层级递归进行，并给出任务级递归的定义。仓库包含 arXiv 论文链接、项目网站、基准指南文档、演示 GIF 与 Apache 2.0 许可证，示例流程涉及 JobBench 基准的安装与运行命令。
Papers with Code is now open-source [P]
r/MachineLearning 社区帖子，作者称以 Apache 2.0 许可证开源了 Papers with Code 的重建版（Hugging Face 仓库），用于追踪热门 AI 研究、基准和 SOTA；技术栈为 Python FastAPI 后端加 React 前端，部署在 Hetzner VPS 上、整体为单一 monorepo，前端调用公开 API 进行可视化，并附带 MCP 服务器，目的是让社区共同贡献功能。适合关注 AI 论文与榜单平台建设、想参与开源 Web 项目开发的人阅读。