02 — 怎么操作
它如何操作一台手机。
四件事循环:读屏、选动作、执行、再读一次。任务不是一段黑盒脚本,而是一串可检查的动作,每一步都能查看,每一步都能叫停。
四步
- 01先拆成几步
计划员拿到你这句话,先决定分几步、每步做什么、哪一步可能要你确认。
一句话能做完的事它不硬拆;拆了会把步骤列出来,改主意随时叫停。 - 02只描述看得见的东西
读屏员把当前界面压成「类型|文字|坐标」的控件树。模型看到的是结构化界面,而不是一整张图。
取不到控件树时,才退回 720p 截图交给多模态模型点坐标。 - 03一次只点一下
执行员不写自由代码,只在有限动作集里选一个:点按、滑动、输入、返回、完成。执行面越窄,意外越少。
支付、发送、删除这类敏感动作默认拦下来,等你点确认。 - 04做完再读一次
校验员重新读屏对结果:对上了才继续,对不上就退回上一步重来。
连续 3 步没有变化就自停,宁可停下来告诉你,也不往下瞎点。
六档权限,按需放开
- 标准
- 应用内操作、工作区文件、联网;不需要系统授权;点不动别的 App
- 无障碍
- 读任意界面、点按、手势、输入、返回;去系统设置里打开开关;可能被厂商 ROM 杀
- 电脑调试(ADB)
- 插线或无线配对后由电脑执行,适合调试和批量跑
- 手机调试
- 本机无线配对,不需要电脑在旁边
- Root
- 最高权限、免等待直接执行;适合你自己的常用设备
- 安全 Root
- 沙盒里跑,搞坏了不影响真机;敏感操作照旧要确认
六档在设置里手动选,9 项权限逐项授权,越界的操作直接拒绝并说明原因。
四类扩展包
技能
把操作流程沉淀成步骤清单:开深色模式、连公司 WiFi、清理缓存,装上就会。
MCP 工具
标准 Model Context Protocol 服务,给代理接外部能力:文件、浏览器、数据库、联网检索。
插件
挂在读屏与解析链路上增强本体:读屏增强、快捷指令、通知转发、录制回放。
沙盒包
隔离环境里跑敏感流程,不碰真机数据;内置 Alpine,root 之后能直接开容器。
安全闸
危险操作先问一句
卸载、付款、发消息、清数据这类动作默认弹确认,你点「允许」它才动。
步数按任务给
普通的「打开 XX 页面」用默认步数;只有写页面、写游戏这类才抬到 50 步,并在界面上写明。
连续 3 步没变化就停
判定自己走进死胡同,停下并原样返回最后一步,而不是继续瞎点。
每步一个检查点
回退不是重跑任务,是把上一步改动的状态复原,再接着走。
一次真实任务:把深色模式打开
- 01读屏。拿到「设置 → 显示」的控件树,看到「深色模式」是个开关,当前是关。
- 02选动作。模型在动作集里挑一个:点按「深色模式」,坐标取自这一次读屏。
- 03执行。无障碍服务把这一下点下去。
- 04回读。再读一次屏,确认开关变成开;没变就重试一次,还不行就停在这里。
- 05报告。把走过的这几步原样摆给你,做成了什么、哪一步没动,都写清楚。
内置示例包就是照这个流程写的:三步,看得懂就能照着改。
失败的时候
先说卡在哪
把最后一条工具的返回原样贴给你:是找不到控件、还是权限不够,一眼能看出来。
卡点写进记忆
失败会记一条「坑」,同类任务下次开局就能看见,不用再踩一遍。
权限不够直接说
要 shell 但只开了无障碍时,第一步就停下,告诉你缺哪一档、去哪开。
危险操作等你点
卸载、付款、发消息这类动作,确认框不点,它一步都不走。
