Phone Harness：让 Claude Code 控制你真手机的开源工具

本文介绍 ShawnPana 开源的 Phone Harness（2.7 千 stars，MIT）——让你的 coding agent 控制真手机：Claude Code、Codex 或任意 agent 连上你的 iPhone 或 Android，看屏幕、点按、打字、读结果。不越狱、不用 Xcode、手机上不装任何东西。

项目简介

Phone Harness 是 agent"从桌面走向物理设备"的一个朴素实现：agent 写代码很行，但"帮我在手机上订杯咖啡"这种活儿之前没法干。这个项目把手机变成 agent 可操作的环境——官方演示的任务是让 agent 真的叫了一辆 Waymo 去咖啡店。

工作原理

iPhone：借 macOS 的 iPhone Mirroring（iPhone 镜像）把手机渲染成 Mac 窗口；harness 捕获该窗口画面，用 Apple Vision 框架做 OCR，把文字变成可点按坐标；点按、滑动、打字通过 HID 级事件注入
Android：走 adb——screencap 抓屏、系统无障碍树取文字、input 执行操作，USB 或 Wi-Fi 均可

两端共用同一套 helper API，phone-harness config set platform ios|android 切默认平台。

快速开始

给 Claude Code 或 Codex 贴这段话，让 agent 自己装：

Set up phone-harness for me. Clone https://github.com/ShawnPana/phone-harness into ~/.phone-harness, read `install.md` first, install it so `phone-harness` is a command on my PATH, and register it as an agent skill named phone-harness using `phone-harness skill` as the body. Then read `onboarding.md` and walk me through it.

需要人手的环节（iPhone 配对镜像、授权辅助功能与屏幕录制；Android 开开发者选项、批准 adb）agent 会引导完成。phone-harness --doctor 一键体检整条链路。

日常用法是往命令里喂 Python：

bash

phone-harness <<'PY'
open_app("Notes")
tap_text("New Note")
type_text("hello from the harness")
print([o["text"] for o in ocr()][:10])
PY

适用场景

自动化手机上的重复操作：打卡、填表、批量验证 App 流程
移动端 App 测试：agent 自己跑 UI 冒烟
给 agent 补"手机这只手"：配合桌面 agent 工具形成完整设备操作能力

注意事项

iPhone 解锁会暂停镜像；PIN 锁定的 Android 需要人介入
OCR 只认文字不认图标，无文字标签的控件要靠截图坐标
官方另提供云端托管真机（Phone Harness Cloud，带真实号码与 2FA），按需选用
让 agent 操作真实账号前想清楚授权边界，支付类操作务必留人工确认

项目链接

GitHub 仓库：https://github.com/ShawnPana/phone-harness
官网：https://phone-harness.com