返回资源列表

GitHub（作者 Henry Yuan / onehumanbeing） · Henry Yuan (onehumanbeing)

ESP32 iPhone Agent

ESP32 iPhone Agent是GitHub（作者 Henry Yuan / onehumanbeing）的免费开源项目（英文）。前置条件：需要基本的命令行操作与 Arduino/ESP32 概念，会读 Swift / Xcode 工程配置会有帮助，并了解如何调用 OpenAI 兼容的视觉模型接口。

用约 7 美元的 ESP32-S3 板子作为 AirPlay 屏幕接收端与 USB HID 鼠标键盘，让任意 OpenAI 兼容的视觉模型在真实 iPhone 上规划并执行点按、滑动、输入等操作，并可回放与导出运行轨迹。

打开官方课程
难度
见前置条件
类型
开源项目
语言
英文
规模
12 个课节
内容费用
免费
动手
需要动手环境

使用限制

学习材料全部公开；实做需要自备硬件、Mac/Xcode 与模型端点，签名可用免费 Apple ID，一键加入热点则需要付费开发者账号。

练习与作业
ESP32-S3 开发板（测试用 XIAO ESP32S3，约 7 美元）与 iOS 18+ 的 iPhone支持图像输入的 OpenAI 兼容模型端点与 API 密钥，存于 Keychain，调用可能产生费用Apple ID 签名：免费账号可签发但需每 7 天重签
补充内容
一键加入板子热点的 Hotspot Configuration 能力需要付费开发者账号；没有时 App 显示密码手动加入

第一次学这门课？先完成学前准备，把课程目录搭好。

每节课这样学

  1. 发提示词把下面的每课提示词发给 AI Agent，它会准备这一课的练习文件。
  2. 学官方课节打开对应课节学习，按提示从第一道练习做起；它不会替你写答案。
  3. 记进度学完让 AI Agent 在 progress.md 勾选，并把疑问整理到 questions.md。
每课提示词 · 每次学习前用
继续学习「ESP32 iPhone Agent」。课程目录是 esp32-iphone-agent/（不知道完整路径就先问我）。
1. 读 progress.md，找到下一课；如果我指定了第几课，就准备那一课。
2. 打开这一课的官方页面和本地讲义，列出本课练习要用的工具、文件和样例数据。缺少的先告诉我，等我同意再安装或下载。
3. 在 lessons/ 对应的课节文件夹里准备好练习：exercises/ 里给每道题建一个文件，写上题号和题目原文链接，不写答案；已有文件保留，样例数据放到 data/。拿不到官方题目或起始代码时记录限制，不编造替代品。
4. 按 README 运行开课时生成的自检脚本或在线检查清单，并检查本课新增工具能否正常使用。
5. 告诉我：本课先读哪几节、从哪道练习开始、大约需要多久。我学完后，帮我在 progress.md 勾选并把问题整理到 questions.md。

边界：
- 需要管理员权限、会产生费用或需要填写密钥的操作，先告诉我原因，等我同意。密钥由我在本机配置，不发到聊天，不写进笔记或版本库；原项目需要 .env 时确认已被 Git 忽略。
- 不替我写练习或作业答案，也不替我提交。我卡住时只给提示；我明确要求时才给解答。
- 只下载许可允许个人保存的材料；其余只放链接。不把未运行的命令说成成功。

课节共 12 节 · 官方顺序

  1. 01esp32-iphone-agent 仓库主页（README）
  2. 02README.md
  3. 03README.zh-CN.md（简体中文版）
  4. 04docs 目录
  5. 05docs/legacy.md（旧版方案）
  6. 06Export runs for agent review
  7. 07hardware 目录
  8. 08ios 目录
  9. 09prompts 目录
  10. 10server 目录
  11. 11SECURITY.md
  12. 12CONTRIBUTING.md

常见问题

免费吗？

免费：仓库以 MIT 许可公开，README 中可直接读到完整的原理说明、硬件清单与 Quick start 步骤，主要学习内容无需付费或登录即可查看；实做所需的硬件与模型 API 另计。实践可能产生费用：实做需购买约 7 美元的 ESP32-S3 板子及可能的转接器，并调用云端或自建的视觉模型 API（可能产生费用）；网页未给出具体价格。

需要什么基础？

需要基本的命令行操作与 Arduino/ESP32 概念，会读 Swift / Xcode 工程配置会有帮助，并了解如何调用 OpenAI 兼容的视觉模型接口。软件、账号与硬件：ESP32-S3 开发板（测试用 Seeed Studio XIAO ESP32S3，约 7 美元，需带原生 USB 与 PSRAM）、iOS 18 或以上并带蜂窝数据的 iPhone（Lightning 机型需转接器）、一台装有 Xcode 的 Mac 用于烧写板子并构建安装 App（运行阶段不再需要）、Apple ID 签名（免费账号可签，需每 7 天重签；一键加入板子热点的 Hotspot Configuration 能力需付费开发者账号），以及一个支持图像输入的 OpenAI 兼容模型端点与密钥。

有中文吗？

本站记录的语言是英文；是否有中文字幕或译本本站未核实，请以原站为准。

怎么开始？

从原始资源入口开始：https://github.com/onehumanbeing/esp32-iphone-agent。本页“学前准备”列出环境与工具，“学习指南”给出开课提示词，可以在自己的电脑上按步骤开始。开课提示词尚未完整验证。练习与作业需要自备：ESP32-S3 开发板（测试用 XIAO ESP32S3，约 7 美元）与 iOS 18+ 的 iPhone、支持图像输入的 OpenAI 兼容模型端点与 API 密钥，存于 Keychain，调用可能产生费用、Apple ID 签名：免费账号可签发但需每 7 天重签；补充内容需要自备：一键加入板子热点的 Hotspot Configuration 能力需要付费开发者账号；没有时 App 显示密码手动加入。

来源与使用须知

收录时间
本站首次收录 2026-10-22
指南参考
课程主页

版权与转载

  • MIT：代码可自由使用和修改，需保留版权声明。原站说明
  • 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。