ESP32 iPhone Agent开源：40多元开发板可让AI操作iPhone

开发者 Henry 已开源 ESP32 iPhone Agent。该项目用一块约 40–50 元的 XIAO ESP32S3 开发板配合手机 App，让 AI 直接操作真实的 iPhone，可以打开其他 App、点击按钮，也可以滑动屏幕。

不需要越狱，也不依赖 XCTest 权限

这套方案不需要越狱，也不依赖苹果 XCTest 的测试权限。它的实现方式是由 ESP32 自己建立 Wi-Fi 热点，充当 AirPlay 投屏接收器。iPhone 会把屏幕画面投给开发板，不过开发板并不负责解码，而是通过蓝牙把压缩视频传回同一部手机上的 Agent App。

视觉识别与输入模拟在同一链路中完成

Agent App 调用视觉模型识别界面并决定下一步操作，再通过蓝牙发送指令，让 ESP32 模拟 USB 鼠标和键盘来控制手机。为避免点击位置出现偏移，系统还会自动校准鼠标指针，必要时根据画面修正位置。

整个方案把屏幕接收和输入模拟结合在普通 ESP32-S3 上完成，不需要像 NanoKVM Go 那样的专用视频采集硬件。Agent 直接运行在 iPhone 上，模型推理则依赖外部 API 或自建服务器。由于手机的 Wi-Fi 会被开发板热点占用，默认需要通过蜂窝网络访问模型。

当前限制

首次刷写固件、编译并安装 iPhone App，仍需要 Mac 和 Xcode。受蓝牙带宽限制，回传画面分辨率只有 480×1040，最高每秒 5 帧，每一步操作通常需要几秒。

目前，触控坐标只适配竖屏界面，键盘输入仅支持 ASCII 字符，手机锁屏后也无法继续投屏。