Evals Skills for Coding Agents
掌握一套面向 AI 产品评测的 agent 技能,能审计已有评测流水线、发现并归类失败模式、用 LLM 判官与人工标注校准评测。
项目:做出新东西的创造性项目,含 AI 实践。
掌握一套面向 AI 产品评测的 agent 技能,能审计已有评测流水线、发现并归类失败模式、用 LLM 判官与人工标注校准评测。
给模型一个目标(如“打开设置进入 Wi-Fi”),它通过 AirPlay 镜像看屏、用 USB HID 点击滑动输入完成任务,可回放导出轨迹
新在哪里 以前让 AI 操作 iPhone 往往要越狱、开发者账号或电脑跑服务;现在一块约 $7 的 ESP32-S3 当 AirPlay 眼睛和 HID 手,agent 跑在同一台 iPhone 的应用里
一条 npx 命令把本地 CVE 库接进 Claude Code/Cursor/Codex,问某产品版本就得到适用 CVE、可利用性排序与 PoC 链接
新在哪里 以前对比 NVD、KEV、EPSS、Exploit-DB 要逐个网站手查或靠 agent 凭记忆猜;现在这些源合并成本地 SQLite 索引,agent 经 MCP 离线秒回且结果可复现
装一个 Claude Code 插件,描述需求就能得到遵循 Panache、OIDC、RestAssured、K8s 规范的 Quarkus Java 21+ 代码
新在哪里 以前用 Claude Code 写 Quarkus 要自己补 Panache、安全、测试约定;现在装官方仓库里的插件模板,让 4 个 agent 和 7 个 skill 自动带上这些规范。
在 GitHub Copilot App 内完成一次从会话中的想法到合并 PR 的完整 GitHub 工作流,并用一个 Astro 书签小应用练手。
Agent 碰到登录页时弹独立窗口或发一次性链接,你填密码和验证码,脚本代为提交,agent 只获得“填了哪些字段”。
新在哪里 以前浏览器 agent 登录要么停手等你接手,要么让你把密码和 2FA 码粘进聊天;现在密文只进一次性窗口或手机链接,脚本直接键入 agent 的标签页,密码不进入模型上下文。
打开一个会动的桌面宠物,Claude Code 工作时它打字、要权限时它举手,在卡片上点一下即可允许或拒绝命令。
新在哪里 以前批准 Claude Code 的权限要切回终端看提示、做选择;现在权限卡片直接弹在桌面宠物旁边,点一下 Allow / Always allow / Deny,或在她举手时双击头部就能放行。
一条 npx 命令或一个扩展,把本机多个 agent 会话渲染成动画团队通话与全部会话看板,直接看出谁在工作、谁卡住、谁在等谁、各 agent 花了多少 token。
新在哪里 以前要多开终端逐个窗口盯 agent 输出、事后翻日志判断谁卡住;现在零额外 token 读取本地会话文件,把多 agent 协作状态变成实时团队通话和看板。
在本机打开 Figma 导出的 .fig 文件,让 Claude Code 等 agent 读到节点树、React + Tailwind 代码提示、变量 token 与截图
新在哪里 以前让 agent 读 Figma 设计稿要走 Figma 账号或 Dev Mode 席位,还用不了本地文件;现在用 figstudio 离线解析 .fig 并把与 Figma MCP 同名的工具注册给 agent。
在浏览器或桌面里用草图 + 拉伸建出简单零件,改动高度等参数后模型整体重建,并导出 STEP。
新在哪里 以前做参数化实体建模要装商业 CAD 或重型桌面软件;现在打开浏览器就能用,且桌面、CLI 与 MCP 跑同一套命令。
在小米电视上装好归藏电视桌面,得到左侧大字入口列表、每 5 分钟自动轮播的壁纸,以及适配机型上直达 HDMI 1/2 的 PS5、Apple TV 入口。
新在哪里 以前改小米电视桌面要在去广告项目上做本地定制;现在有 MIT 开源、带 v0.3.0 APK 的公开版,下载安装即可试用,不想用卸载即可结束。
给 agent 一段动效视频,得到一个可 seek、无缝循环的内联 SVG+GSAP 页面,并附逐帧对比分数与成片渲染
新在哪里 以前 agent 看不到视频,只能凭想象写动画、循环处易跳帧;现在 skill 先分帧研究视频,用单条 GSAP 时间线 + window.anim.seek(t) 重建,并用脚本逐帧对照原片打分。