很多 App 没有 API银行、支付、健康、聊天。AI 写代码再厉害也帮你点不了它们。。iPhone-use 把一台真 iPhone 交给 AI agent屏幕读成文字点、滑、输入操作没生效时直接告诉它。。开源MIT 协议。GitHubhttps://github.com/leeguooooo/iphone-use2 分钟演示视频https://github.com/user-attachments/assets/a9947152-6655-4509-ac1e-49953a3cea70怎么连起来的Mac 上跑一个守护进程通过 USB 在 iPhone 上运行 WebDriverAgentXcode 的 UI 测试框架。对外提供三样东西给 agent 和脚本的 HTTP 接口/agent/*21 个工具的 MCP serverClaude Code、Claude Desktop 直接接给人用的网页和 iOS App远程看实时画面直接点、直接输入。它不占用 Mac 自身的屏幕、光标和窗口焦点。Agent 的一步读、点、看结果curl-s-H$AUTH$HOST/agent/elements# {snapshot:…,elements:[… {kind:Button,label:通用} …]}curl-s-H$AUTH-HX-Phone-Control: 1-XPOST$HOST/agent/input?returndelta\-d{type:tap,element:7,snapshot:…}# {ok:true,settle:{reason:stable,captures:1},delta:{…}}每次操作都会明确说明是已执行、未发出还是结果不确定以及能否安全重试。几种容易让 AI「以为成功」的情况会直接拦下来要点的元素被固定标题栏、键盘盖住不发送返回element_occluded元素在树里但没画出来比如 Chrome 压在网页后面的标签页网格返回element_not_visibleset_value写完读回核对网页输入框没认返回value_not_applied。禁止截屏的 App 也能看PayPay 这类支付 App 开了 iOS 的防截屏截图、录屏、镜像拿到的都是一片白但辅助功能树是完整的。iPhone-use 发现截图是纯色、控件树里却有内容时就按控件树把按钮、文字、输入框画成线框图并在响应头标上X-Capture-Redacted: 1。远程控制的网页和 App 也会把白屏换成这张图。快一点点抠出来的每个请求都带有耗时拆分timing字段、Server-Timing头先测量再优化按编号点击复用刚读到的界面树只核对目标元素的实时位置不再整棵界面树重读等画面稳定读取界面树前后各截一张图两帧一致就不再读第二遍屏幕尺寸和系统弹窗检查结果都有缓存。在 iPhone 17 Pro Max 上实测「点一下并等画面稳定」从 8.5 秒降到 4.2 秒。冷启动从 75 秒降到 13 秒手机锁着的话4 秒内提示解锁解锁后约 14 秒可用。也省 token屏幕读成文字不用每一步都看截图?since只返回变化的部分点完直接带回界面变化省掉一次读取最多 24 步打包成一次调用。做过一次就沉淀成脚本重复的事情不用每次都让模型重新摸索。在网页里操作一遍录成 flow审阅后进官方 flow 源之后一条命令重放不经过模型iphone-use-mcp flow update iphone-use-mcp flow run health/export-all-zh-cn# 导出健康数据App 改版跑不通时结果里会给出诊断卡在哪一步、为什么flow report一条命令反馈回源里。安装需要 macOS 15、完整 Xcode免费 Personal Team 也行、开启了开发者模式并信任这台 Mac 的 iPhone。curl-fsSLhttps://raw.githubusercontent.com/leeguooooo/iphone-use/main/install.sh|sh~/.iphone-use/setup-wda.sh然后打开http://Mac 的 IP:44321/phone。问题和建议欢迎提到 GitHub issueshttps://github.com/leeguooooo/iphone-use/issues