返回资源列表

GitHub（作者 Henry Yuan / onehumanbeing） · Henry Yuan (onehumanbeing)

ESP32 iPhone Agent

ESP32 iPhone Agent是GitHub（作者 Henry Yuan / onehumanbeing）的免费开源项目（英文）。前置条件：需要基本的命令行操作与 Arduino/ESP32 概念，会读 Swift / Xcode 工程配置会有帮助，并了解如何调用 OpenAI 兼容的视觉模型接口。

用约 7 美元的 ESP32-S3 板子作为 AirPlay 屏幕接收端与 USB HID 鼠标键盘，让任意 OpenAI 兼容的视觉模型在真实 iPhone 上规划并执行点按、滑动、输入等操作，并可回放与导出运行轨迹。

打开官方课程
难度
见前置条件
类型
开源项目
语言
英文
规模
12 个课节
内容费用
免费
动手
需要动手环境

使用限制

学习材料全部公开；实做需要自备硬件、Mac/Xcode 与模型端点，签名可用免费 Apple ID，一键加入热点则需要付费开发者账号。

练习与作业
ESP32-S3 开发板（测试用 XIAO ESP32S3，约 7 美元）与 iOS 18+ 的 iPhone支持图像输入的 OpenAI 兼容模型端点与 API 密钥，存于 Keychain，调用可能产生费用Apple ID 签名：免费账号可签发但需每 7 天重签
补充内容
一键加入板子热点的 Hotspot Configuration 能力需要付费开发者账号；没有时 App 显示密码手动加入

学完你能

  • 说明本项目的三层结构：AirPlay 屏幕输入、USB HID 鼠标键盘输出、手机端 App 中的规划与执行模型
  • 用 arduino-cli 与 flash.sh 给 ESP32-S3 板子烧写 AirPlay 接收 + BLE + USB HID 固件
  • 用 XcodeGen 与 Xcode 配置签名并在 iPhone 上构建安装 IPhoneAgent App
  • 在 App 的四步设置中完成蓝牙配对、屏幕镜像、AssistiveTouch 指针校准与视觉模型接入
  • 接入任意 OpenAI 兼容的视觉模型端点，并输入一个任务让 agent 自动执行
  • 在 Runs 中逐步回放运行过程，并导出截图、动作与标注供分析

适合你吗

适合

想动手搭建一个能操作真实手机界面的 AI Agent（computer-use 方向），并愿意折腾硬件、Xcode 与模型接口的学习者。

暂不适合

只想在浏览器里跑代码、不打算购买开发板或没有 iPhone / Mac 的人，以及希望有系统课程讲解 agent 原理而非跟着仓库配置动手的人。

需要先会

需要基本的命令行操作与 Arduino/ESP32 概念，会读 Swift / Xcode 工程配置会有帮助，并了解如何调用 OpenAI 兼容的视觉模型接口。

课程特点

内容侧重
侧重实践应用
练习与项目
按 Quick start 完成烧写与安装后，先用“打开设置并进入 Wi-Fi”这类简单任务验证闭环；再从 Runs 导出 trace，观察每一步截图、动作与变化反馈，用来调整任务描述和排查动作错位。
学习时长
12 个课节原站未给出统一学习时长；实际用时取决于已有基础。
内容费用
免费仓库以 MIT 许可公开，README 中可直接读到完整的原理说明、硬件清单与 Quick start 步骤，主要学习内容无需付费或登录即可查看；实做所需的硬件与模型 API 另计。

内容覆盖

  • How it works：Eyes（AirPlay 到板子）、Hands（USB HID）、Brain（App 中的 planner 与 actor）
  • Hardware：ESP32-S3 板子、iPhone、视觉模型、Mac with Xcode 的要求
  • Quick start 1：用 arduino-cli 与 flash.sh 烧写板子固件
  • Quick start 2：配置 Local.xcconfig 并构建安装 iOS App
  • Quick start 3：在 App 中完成四步设置（配对、屏幕镜像、指针校准、模型接入）
  • Quick start 4：输入任务并运行，从 Dynamic Island 停止
  • Model and prompts（标题见链接，正文在节选之外）
  • Export runs for agent review（标题见链接，正文在节选之外）
  • docs/legacy.md：v0.1.0 旧版（Mac/Linux 运行 UxPlay 与 Python 服务器）方案（标题见链接，正文在节选之外）

常见问题

免费吗？

免费：仓库以 MIT 许可公开，README 中可直接读到完整的原理说明、硬件清单与 Quick start 步骤，主要学习内容无需付费或登录即可查看；实做所需的硬件与模型 API 另计。实践可能产生费用：实做需购买约 7 美元的 ESP32-S3 板子及可能的转接器，并调用云端或自建的视觉模型 API（可能产生费用）；网页未给出具体价格。

需要什么基础？

需要基本的命令行操作与 Arduino/ESP32 概念，会读 Swift / Xcode 工程配置会有帮助，并了解如何调用 OpenAI 兼容的视觉模型接口。软件、账号与硬件：ESP32-S3 开发板（测试用 Seeed Studio XIAO ESP32S3，约 7 美元，需带原生 USB 与 PSRAM）、iOS 18 或以上并带蜂窝数据的 iPhone（Lightning 机型需转接器）、一台装有 Xcode 的 Mac 用于烧写板子并构建安装 App（运行阶段不再需要）、Apple ID 签名（免费账号可签，需每 7 天重签；一键加入板子热点的 Hotspot Configuration 能力需付费开发者账号），以及一个支持图像输入的 OpenAI 兼容模型端点与密钥。

有中文吗？

本站记录的语言是英文；是否有中文字幕或译本本站未核实，请以原站为准。

怎么开始？

从原始资源入口开始：https://github.com/onehumanbeing/esp32-iphone-agent。本页“学前准备”列出环境与工具，“学习指南”给出开课提示词，可以在自己的电脑上按步骤开始。开课提示词尚未完整验证。练习与作业需要自备：ESP32-S3 开发板（测试用 XIAO ESP32S3，约 7 美元）与 iOS 18+ 的 iPhone、支持图像输入的 OpenAI 兼容模型端点与 API 密钥，存于 Keychain，调用可能产生费用、Apple ID 签名：免费账号可签发但需每 7 天重签；补充内容需要自备：一键加入板子热点的 Hotspot Configuration 能力需要付费开发者账号；没有时 App 显示密码手动加入。

来源与使用须知

收录时间
本站首次收录 2026-10-22
指南参考
课程主页

版权与转载

  • MIT：代码可自由使用和修改，需保留版权声明。原站说明
  • 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。