返回资讯中心
外部精选
软件工程
#开发者实时流

开源应用让LLM直接在iPhone上控制手机,无需Mac常驻

来源标题:Show HN: Open-source app that lets LLMs control your iPhone (no Mac required)

一款名为iPhone-use的开源应用可让AI模型直接在iPhone本地运行并操控该手机,运行时无需Mac、额外硬件或越狱。该应用只需一次性用Mac生成配对文件,之后可通过聊天、Siri、快捷指令或链接启动Agent。它基于CoreDevice截图与触摸操作,需iOS 26及以上系统。

Hacker News 最新ea0162026/11/9 · 8 天前21 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

让 AI 模型在 iPhone 本身上操控你的 iPhone。运行时不需要 Mac(只需一次性配对),不需要额外硬件,也不用越狱。 左图:“叫一辆 Lyft 去埃菲尔铁塔(先别下单)”(4 倍速):智能体离开自己的 App,打开 Lyft,输入目的地,选中它,然后停在车型选项处。中图:一次完成的运行,每一步都附有截图。右图:一个新对话。 运行时不需要电脑:智能体在 iPhone 上运行,并控制同一台 iPhone,不需要额外硬件,也不用越狱。 只在生成配对文件时需要一次 Mac 从任何地方启动它:聊天界面、Siri、“Run Agent”快捷指令,或 iphoneuse://run?prompt=… 链接。 对比 iphone-use-app TapKit esp32-iphone-agent iPhone-use 运行时需要电脑 不需要(仅配对时需要一次 Mac) Mac App,手机需插线 不需要(烧录开发板时需要一次电脑) Mac(MCP server) 额外硬件 无 无 ESP32-S3 开发板(约 7 美元),通过 USB-C 连接 无 如何观察和操作 通过回环 VPN 使用 CoreDevice 截图和触摸 Apple 辅助功能 通过 AirPlay 镜像到开发板,通过 AssistiveTouch 使用 USB 鼠标/键盘 通过 USB 使用 WebDriverAgent(XCTest) 要求 组件 说明 iPhone iOS 26 或更高版本,开启开发者模式。 Apple 账号 付费团队:App 使用其内置 VPN(需要 Network Extension 权限)。 免费 Apple ID:使用 BUILTIN_VPN=NO(Xcode 构建设置或 xcodebuild 参数)构建,并安装 LocalDevVPN;每 7 天需要重新签名。 配对文件 从 Mac 通过 USB 生成一次(见下文)。 视觉模型 一个 OpenRouter key,或任何 OpenAI 兼容端点,其模型支持图像和工具调用。 Mac 仅用于生成配对文件(以及构建 App,除非你安装 release 版本)。运行时不需要。 限制 蜂窝网络下需要快捷指令:iOS 在蜂窝数据下会拒绝新的回环 VPN 连接,因此 App 会运行一个 Cellular Toggle 快捷指令,在连接时关闭数据,连接后再打开(或手动关闭)。 不能同时使用其他 VPN:它需要一个回环 VPN(内置的,或 LocalDevVPN),而 iOS 同一时间只允许一个 VPN,所以 Tailscale 之类的工具在它开启时会停止工作。 每次运行都会显示“从 Mac 远程查看”提示:当使用其开发者服务时,iOS 会显示“Device Hub: This device was viewed remotely from Mac”,尽管这里的“Mac”其实就是 App 本身。除了调用 LLM 之外,没有任何数据离开手机。 权限:需要开发者模式、VPN 配置、本地网络访问(用于发现手机的 配对服务),以及将定位设为“始终”(配合静音音频让运行在后台保持存活)。 麦克风仅用于语音提示。 配对文件会过期:当 App 提示时,生成一个新的。 仅限侧载构建:它需要开发者模式和开发者服务,因此无法上架 App Store。 每步需要几秒钟:大部分时间花在模型上。 工作原理 flowchart LR subgraph App["iphone-use-app"] L["LLM calling"] D["Mount developer image"] O["Orchestrator"] end L <-- "screenshot + history /<br/>tool call" --> R["OpenRouter"] D -- "DDI mount" --> V["Loopback VPN<br/>10.7.0.1"] O <-- "screenshot / tap, swipe, type" --> V Loading App 先挂载开发者镜像,然后通过回环 VPN 截屏并控制它所在的 iPhone。 每一步,截图都会发送给模型,模型返回一个工具调用(点击、长按、滑动、输入、打开 App),直到任务完成。 Live Activity 会显示进度,并带有一个停止按钮,每次运行都会保存为一个对话。 一个决策就是一次截图 → 一次工具调用。scripts/eval.sh 会通过 OpenRouter 对每个模型重放 11 个录制步骤(打开 Lyft、搜索 目的地、选择车型、在付款前停止;写一条笔记),运行两次 (每行 22 个决策)。2026 年 11 月;时间是从 Mac 出发的完整往返耗时。

  1. 生成配对文件 这是唯一需要 Mac 的步骤。将手机连接到 Mac,解锁(如有提示请点“信任”),然后: git clone https://github.com/jkcoxson/idevice && cd idevice cargo build --release -p idevice-tools --bin idevice-tools ./target/release/idevice-tools rppairing pair my-mac pairingFile.plist 该文件会一直有效,直到手机不再信任该主机(重置位置与隐私、关闭开发者模式)。 如果 App 提示配对文件无效或已过期,请生成一个新的。 不构建的方式:在 SideStore 或 AltStore 中添加此源: https://raw.githubusercontent.com/EliotAndres/iphone-use-app/main/source.json (或从 Releases 侧载 .ipa)。 这是免费 Apple ID 构建:还需要安装 LocalDevVPN。 从源码构建(内置 VPN 需要付费团队):

一次:从最新 release 获取预构建的 Rust 库(45 MB,已被 gitignore)...

curl -L -o iPhoneUse/idevice/libidevice_ffi.a https://github.com/EliotAndres/iphone-use-app/releases/latest/download/libidevice_ffi.a

...或者自己构建(需要 rustup + aarch64-apple-ios target)

scripts/build-idevice.sh open iPhoneUse.xcodeproj # 设置你的团队,在手机上运行 iPhoneUse scheme 3. 设置(在 App 中一次性完成) 设置(右上角齿轮)→ Import Pairing File。1 允许“添加 VPN 配置”提示。它只会将 10.7.0.1 路由回手机。 改用 LocalDevVPN:打开它,并在设置 → Phone Connection 中选择 LocalDevVPN (如果内置 VPN 失败,会自动为你选择)。 设置 → Model:选择提供商,粘贴 key,选择模型。 等待输入框上方的“not connected”提示消失(首次运行时会下载开发者磁盘镜像)。 1 或者在 App 安装后复制过去: xcrun devicectl device copy to --device <udid> --domain-type appDataContainer --domain-identifier blog.eliot.iphoneuse --source pairingFile.plist --destination Documents/pairingFile.plist 输入一个目标,例如“Open Settings and turn on Dark Mode”,然后发送。可以从灵动岛 或聊天界面停止它。 脚本化运行(不使用 LLM) DEV=<udid> scripts/runscript.sh "open com.apple.Preferences; wait 1.5; tap 0.5 0.9; shot a" a 使用 -agentScript 启动 App,等待 Documents/agent.log 中出现“script done”,并拉取截图。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →