02 — 怎么操作

它如何操作一台手机。

四件事循环:读屏、选动作、执行、再读一次。任务不是一段黑盒脚本,而是一串可检查的动作,每一步都能查看,每一步都能叫停。

四步

  1. 01先拆成几步
    计划员拿到你这句话,先决定分几步、每步做什么、哪一步可能要你确认。
    一句话能做完的事它不硬拆;拆了会把步骤列出来,改主意随时叫停。
  2. 02只描述看得见的东西
    读屏员把当前界面压成「类型|文字|坐标」的控件树。模型看到的是结构化界面,而不是一整张图。
    取不到控件树时,才退回 720p 截图交给多模态模型点坐标。
  3. 03一次只点一下
    执行员不写自由代码,只在有限动作集里选一个:点按、滑动、输入、返回、完成。执行面越窄,意外越少。
    支付、发送、删除这类敏感动作默认拦下来,等你点确认。
  4. 04做完再读一次
    校验员重新读屏对结果:对上了才继续,对不上就退回上一步重来。
    连续 3 步没有变化就自停,宁可停下来告诉你,也不往下瞎点。

六档权限,按需放开

标准
应用内操作、工作区文件、联网;不需要系统授权;点不动别的 App
无障碍
读任意界面、点按、手势、输入、返回;去系统设置里打开开关;可能被厂商 ROM 杀
电脑调试(ADB)
插线或无线配对后由电脑执行,适合调试和批量跑
手机调试
本机无线配对,不需要电脑在旁边
Root
最高权限、免等待直接执行;适合你自己的常用设备
安全 Root
沙盒里跑,搞坏了不影响真机;敏感操作照旧要确认

六档在设置里手动选,9 项权限逐项授权,越界的操作直接拒绝并说明原因。

四类扩展包

技能

把操作流程沉淀成步骤清单:开深色模式、连公司 WiFi、清理缓存,装上就会。

MCP 工具

标准 Model Context Protocol 服务,给代理接外部能力:文件、浏览器、数据库、联网检索。

插件

挂在读屏与解析链路上增强本体:读屏增强、快捷指令、通知转发、录制回放。

沙盒包

隔离环境里跑敏感流程,不碰真机数据;内置 Alpine,root 之后能直接开容器。

安全闸

危险操作先问一句

卸载、付款、发消息、清数据这类动作默认弹确认,你点「允许」它才动。

步数按任务给

普通的「打开 XX 页面」用默认步数;只有写页面、写游戏这类才抬到 50 步,并在界面上写明。

连续 3 步没变化就停

判定自己走进死胡同,停下并原样返回最后一步,而不是继续瞎点。

每步一个检查点

回退不是重跑任务,是把上一步改动的状态复原,再接着走。

一次真实任务:把深色模式打开

  1. 01读屏。拿到「设置 → 显示」的控件树,看到「深色模式」是个开关,当前是关。
  2. 02选动作。模型在动作集里挑一个:点按「深色模式」,坐标取自这一次读屏。
  3. 03执行。无障碍服务把这一下点下去。
  4. 04回读。再读一次屏,确认开关变成开;没变就重试一次,还不行就停在这里。
  5. 05报告。把走过的这几步原样摆给你,做成了什么、哪一步没动,都写清楚。

内置示例包就是照这个流程写的:三步,看得懂就能照着改。

失败的时候

先说卡在哪

把最后一条工具的返回原样贴给你:是找不到控件、还是权限不够,一眼能看出来。

卡点写进记忆

失败会记一条「坑」,同类任务下次开局就能看见,不用再踩一遍。

权限不够直接说

要 shell 但只开了无障碍时,第一步就停下,告诉你缺哪一档、去哪开。

危险操作等你点

卸载、付款、发消息这类动作,确认框不点,它一步都不走。