Evals Skills for Coding Agents
掌握一套面向 AI 产品评测的 agent 技能,能审计已有评测流水线、发现并归类失败模式、用 LLM 判官与人工标注校准评测。
项目:做出新东西的创造性项目,含 AI 实践。
掌握一套面向 AI 产品评测的 agent 技能,能审计已有评测流水线、发现并归类失败模式、用 LLM 判官与人工标注校准评测。
在 GitHub Copilot App 内完成一次从会话中的想法到合并 PR 的完整 GitHub 工作流,并用一个 Astro 书签小应用练手。
读懂并跑通一套基于 LLM 的资讯聚簇、打分精选、日报生成的完整工程框架,并能把它改造成自己行业的热点站。
学会在 Claude Code、Codex、Cursor 等 AI 编码环境中加载 yomiyasu 技能,按 7 条转换原则把 AI 生成的技术文档、设计书、PR 说明等日语文本改写成主谓清晰、比喻平实的可读文本,并用自带的检查脚本核对改写。
读者可以按 README 安装并运行 CodeAgent,并通过阅读其模块化源码理解一个真实可跑的编程 Agent 全链路实现:工具自注册、上下文分级压缩、权限审批、长期记忆与技能、子代理与团队、工作流引擎与自学习管线。
能够按官方 README 在本地跑起一个基于 OpenUI 的生成式 UI 演示应用,理解模型流式输出 OpenUI Lang 并由组件库渲染成交互界面的机制,并可自行替换模型接口。
用约 7 美元的 ESP32-S3 板子作为 AirPlay 屏幕接收端与 USB HID 鼠标键盘,让任意 OpenAI 兼容的视觉模型在真实 iPhone 上规划并执行点按、滑动、输入等操作,并可回放与导出运行轨迹。
能安装 Scout,接入任意兼容 chat completions 的模型,用它驱动真实浏览器完成调研、填表、比价、登录等任务并取回结构化结果。
能理解并跑通一个自托管 MCP 服务器:在 Cloudflare Workers 上部署,用 Baileys 链接 WhatsApp 设备,把消息存入 Durable Object 中的 SQLite,并向 Claude Code 等 MCP 客户端暴露搜索、读取、命名等只读工具。
了解并复用一套实践派生的 Agent Skills,目录覆盖 research-analysis、software-engineering、team-collaboration、agent-development、content-publishing 等方向。
按 24 周路线从 Python 基础走到生产级 AI 系统,每周用一个连续的货运案例产出可运行 notebook、指标和误差分析笔记,形成互相关联的作品集。
能安装并使用 PyTorch 完成张量运算与基于 tape 自动求导的神经网络训练,并能从仓库源码、构建说明与文档目录中自行查阅和扩展 PyTorch。