喵神开源 sim-use：让 Agent 看见模拟器屏幕自己动手

喵神（@onevcat，戴铭）在 Let's Vision 大会上介绍过他们正在做的，让 Agent 参与移动开发自主验证。现在终于开源了一部分：sim-use。

一句话：让 AI Agent 看到模拟器/设备的屏幕并操作它的命令行工具。 一条命令把整个屏幕变成 Agent 能理解的紧凑表示，再一条命令点击任意元素，完成验证循环。iOS Simulator 和 Android 通用。

一、它解决什么问题

移动开发的标准流程是 Plan → Code → Verify → Ship。其中 Verify（验证）这一环一直卡在人工，

Agent 写完代码
  │
  ├── 编译通过？✅（自动化）
  ├── 单元测试通过？✅（自动化）
  └── 但 UI 对不对？功能正常吗？
      │
      └── 人打开模拟器，点一遍看看
          → 如果有 100 个页面要验证，人要手动点 100 次

sim-use 解决的就是"让 Agent 代替人去模拟器上点一遍"。

二、两个核心能力

1️⃣ 屏幕变文字（Agent 能"看到"）

一条命令把模拟器的整个屏幕截图，转成 Agent 能理解的紧凑文本表示，每个 UI 元素是什么、在哪里、可不可点。Agent 不用"看图猜"，而是读结构化的文本。

这和前面 Cua/ZCode Computer Use 的"读 Accessibility 树"是同一种思路，把视觉信息转成文本，让 Agent 用"读"的方式理解屏幕，比"看图猜"精确得多。

2️⃣ 点击任意元素（Agent 能"操作"）

另一条命令，让 Agent 点击屏幕上的任意元素，按钮、输入框、列表项。Agent 可以：

• 点按钮
• 输入文字
• 滑动列表
• 截图对比

这样 Agent 就能自己跑完验证循环，打开页面 → 点击 → 输入 → 验证结果 → 截图对比。

三、verify 循环自动化

Agent 写完代码
  │
  ├── sim-use 截屏 → 转文本 → Agent 理解当前界面
  ├── Agent 决定要点哪些元素来验证
  ├── sim-use 执行点击/输入
  ├── Agent 检查结果（界面变了吗？跳转了吗？）
  ├── 通过 → Ship ✅
  └── 不通过 → 回到 Code 改代码

Plan, Code, Verify, Ship — verify 这一环现在可以交给 agent 了。

四、iOS + Android 通用

关键，sim-use 不只是 iOS Simulator，Android 也通用。 这意味着：

跨平台支持让 sim-use 能接入任何移动开发流程，iOS 团队、Android 团队、Flutter 团队、React Native 团队都能用。

五、和前面内容的呼应

六、谁该用

适合你，如果你：

• 做 iOS / Android 开发，有大量 UI 需要验证
• 用 AI Agent 写移动端代码，但 verify 环节还是手动
• 做 CI/CD 想加 UI 自动化测试
• Flutter / React Native 跨平台团队
• 想让 Agent 完成完整的 Plan→Code→Verify→Ship 闭环

七、小结

一句话：sim-use 让 AI Agent 看见模拟器屏幕并自己操作，一条命令屏幕变文字，一条命令点击任意元素。iOS + Android 通用，verify 环节终于可以自动化。

喵神说的对，Plan, Code, Verify, Ship — verify 这一环现在可以交给 agent 了。 移动开发的完整闭环，最后一块拼图。

本文基于喵神（@onevcat，戴铭）的 X 推文整理。原文 https://x.com/onevcat/status/2071500722324336659 。sim-use 是开源工具，iOS Simulator + Android 通用。

推荐配合：docker-android（Android 模拟器容器化）、Cua/ZCode Computer Use（桌面版"读屏幕"）、Karpathy 十条军规（验证环节）、Loop Engineering 论文（verify 动作）。