前豆包桌面端产品经理钟二信开源了 iPhone Use，让 Codex 可以直接操作真实的 iPhone。用户用自然语言下达任务后，Codex 可以打开 App、读取页面、点击、滑动、输入中文，也能搜索并整理列表，整个操作过程还能在 Codex 侧边栏实时查看。
底层通过 WDA 执行手机操作
项目底层使用 Appium 的 WebDriverAgent（WDA）。这是一套基于苹果 XCTest 测试框架的手机自动化工具。开发者先通过 Xcode 在 iPhone 上安装 WDA，再通过 Mac 上的 MCP 服务，把 Codex 的指令发送给手机，由 WDA 执行点击、输入等操作。
按项目介绍，这套方案无需越狱，也不用单独部署 Appium Server。
优先读取界面控件信息，减少截图开销
为了减少 AI 反复查看截图带来的开销，iPhone Use 会优先读取系统提供的界面控件信息，直接识别按钮文字、位置和状态。遇到无法识别或被遮挡的控件，系统才会返回截图，再让模型判断点击坐标。
项目还支持批量执行连续操作，用来减少模型调用次数。侧边栏里的实时画面，则通过 WDA 的独立屏幕流获取，不需要反复截图。
当前官方教程仍要求 USB 连接
目前，iPhone Use 的官方教程仍要求通过 USB 连接手机，首次使用需要通过 Xcode 签名并安装 WDA。苹果支持无线调试，WDA 也可以通过网络访问，但这个项目暂时还没有提供完整的无线连接配置方案。
本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察，请访问 www.bit.fan.