PhoneDriver：基于视觉的 Android 自动化代理

# Linux/Ubuntu
sudo apt update
sudo apt install adb

git clone https://github.com/OminousIndustries/PhoneDriver.git
cd PhoneDriver

# 创建虚拟环境
python -m venv phonedriver
source phonedriver/bin/activate

# 安装依赖
pip install git+https://github.com/huggingface/transformers
pip install pillow gradio qwen_vl_utils requests

# 在 Android 设备上启用 USB 调试
# 通过 USB 连接

# 验证连接
adb devices

python app.py

# 1. 启动应用
python app.py

# 2. 打开浏览器
# 访问 http://localhost:7860

# 3. 输入自然语言任务
"打开微信并给张三发送消息"
"在抖音上搜索猫咪视频"
"关闭所有后台应用"

from PhoneDriver import PhoneDriver

# 初始化
driver = PhoneDriver()

# 执行任务
driver.execute("打开设置")
driver.execute("连接到 WiFi")
driver.execute("打开蓝牙")

手机屏幕
    ↓
截图 (ADB)
    ↓
Qwen3-VL 模型
    ↓
理解 UI 元素、文本、图标
    ↓
生成操作计划

用户输入自然语言
    ↓
模型理解意图
    ↓
生成 ADB 命令序列
    ↓
执行命令
    ↓
截取新屏幕
    ↓
验证结果
    ↓
继续或调整

任务："打开微信并给张三发送消息"

执行流程：
1. 解锁手机
2. 找到微信图标
3. 点击打开
4. 搜索联系人
5. 点击进入对话
6. 输入消息
7. 发送

任务："连接到办公室 WiFi"

执行流程：
1. 打开设置
2. 进入 WiFi 设置
3. 选择目标网络
4. 输入密码
5. 连接

任务："测试购物应用的下单流程"

执行流程：
1. 打开应用
2. 浏览商品
3. 添加到购物车
4. 结账
5. 验证成功

任务："删除所有未读邮件"

执行流程：
1. 打开邮件应用
2. 识别未读邮件
3. 逐个删除
4. 确认完成

# 使用 Qwen3-VL-4B（默认）
model = "Qwen/Qwen3-VL-4B"

# 使用 Qwen3-VL-8B（更高精度）
model = "Qwen/Qwen3-VL-8B"

# 指定设备
device_id = "emulator-5554"

# 截图质量
screenshot_quality = 90

# 操作延迟
action_delay = 1.0

# Gradio 界面
server_port = 7860
share = False  # 是否创建公共链接

def custom_task(driver):
    # 截图
    screenshot = driver.screenshot()

    # 分析
    analysis = driver.analyze(screenshot)

    # 执行
    driver.tap(analysis['elements'][0])

    # 验证
    return driver.verify()

tasks = [
    "打开应用 A",
    "执行操作 1",
    "执行操作 2",
    "关闭应用"
]

for task in tasks:
    driver.execute(task)
    time.sleep(2)

try:
    driver.execute("打开不存在的应用")
except Exception as e:
    # 自动重试
    driver.retry("打开应用", max_retries=3)

# ❌ 模糊
"点一下那里"

# ✅ 具体
"点击屏幕中央的设置按钮"

# 添加重试逻辑
# 提供备选方案
# 记录错误日志

# 使用 GPU 加速
# 批量操作
# 减少截图频率