Agent Skills › mobileAiDev/ai-app-bridge › ai-app-bridge-use

ai-app-bridge-use

GitHub

指导Agent使用AI App Bridge操作测试Android/iOS等应用,通过Intent、Script或直接命令进行UI交互、日志诊断与ADB执行,涵盖能力查询、任务调度及结果恢复。

skills/ai-app-bridge-use/SKILL.md mobileAiDev/ai-app-bridge

触发场景

需要自动化操作移动端或Web页面 需对App进行UI测试或功能验证 需读取设备日志或截图进行诊断 需执行ADB命令调试设备状态

安装

npx skills add mobileAiDev/ai-app-bridge --skill ai-app-bridge-use -g -y
更多选项

不安装直接使用

npx skills use mobileAiDev/ai-app-bridge@ai-app-bridge-use

指定 Agent (Claude Code)

npx skills add mobileAiDev/ai-app-bridge --skill ai-app-bridge-use -a claude-code -g -y

安装 repo 全部 skill

npx skills add mobileAiDev/ai-app-bridge --all -g -y

预览 repo 内 skill

npx skills add mobileAiDev/ai-app-bridge --list

SKILL.md

Frontmatter
{
    "name": "ai-app-bridge-use",
    "description": "用 AI App Bridge 操作、测试和诊断 Android、iOS、Flutter、WebView 与 Web App。以 Intent \/ Script 推进任务;独立读日志、截图、查询可直接调用命令。ADB 通过内置 adb-exec 执行。"
}

AI App Bridge

设备和 App 操作默认走 Bridge;Intent / Script 是任务执行的主要入口。 按任务性质选择,不按步骤数量限制:

需求 入口
观察页面、探索并作决策 Intent:按当前观察决策;已有本地策略时可 autonomous 连续执行
代码可表达的操作、等待、分支和断言,包括一次性任务 Script:普通 JavaScript/Python,通过 ctx.call 调用能力;新判断才 ctx.askAgent
单独读日志、截图、查状态、定点诊断或明确的原子动作 直接调用对应 Bridge 命令,无须包装成 Intent / Script

Script 可以边观察边处理已知分支,无须先摸清整个 App。把当前已知工作留在一次执行里;Intent 与 Script 也可互相调用。

只有用户明确指定其他工具、Bridge 确实不可用,或当前合同无法提供所需能力/语义时,才使用外部工具,并说明具体缺口。熟悉裸 ADB、某个 SDK 命令失败,都不构成离开 Bridge 的理由。正常操作无须先做全面诊断。

ADB 也通过 Bridge

ADB 的参数直接放进 adb-exec.argv,可通过 MCP、Bridge CLI、Intent command action 或 Script 调用:

// MCP:独立诊断,DEVICE 替换为实际 serial。
run({command:"adb-exec", arguments:{serial:"DEVICE", argv:["shell","getprop","sys.boot_completed"], readOnly:true}})
// Script:继承 script.target.serial。
const reply = await ctx.call("adb-exec", {argv:["shell","getprop","sys.boot_completed"], readOnly:true});

只有实际只读命令才设 readOnly:true;二进制输出用 outFile。ADB 进程退出不等于 App 业务成功。

Android 没有 App SDK 仍可用 Bridge 的 UIA 和 ADB: uia-tree / tap-uia 操作可访问控件,screenshot 截整屏,adb-exec 执行 ADB。SDK 路径失败只说明该路径的问题;按实际目标选择能力,保留未知动作回执,切路径不自动重放。

调用要点

MCP 只有 capabilities 和 run。按需查询 capabilities({command:"script",operation:"start"})(Intent 换成 command:"intent");单条能力用对应 command。已知合同可直接执行。所有业务参数放在 run.arguments,CLI 使用 kebab-case。

  • Intent:run.command:"intent",start 提供 goal/target/provider。supervised 需要 agent 用当前 revision 提交 decide;autonomous 使用本地 agentModule。无 SDK 的 Android 可访问 UI 选择 provider:"uia"。
  • Script:run.command:"script",start 的 script 包含 schemaVersion:"aab.code-script/v1"、language、target、source/sourcePath 二选一;可带 waitMs:60000。默认可调用全部注册命令,包括 adb-exec;源码是 trusted-local-code,不是 OS 沙箱。
  • 目标:Intent 在 arguments.target,Script 在 arguments.script.target。Android 带 platform:"android",serial,App 任务再带 packageName;iOS/Web 按当前合同填写真实设备、会话和目标身份。

首次编写或需要完整 start/decide/wait 示例时,读 执行与恢复 及发布包 docs/SCRIPT_AUTHORING.md。已有配方可用 run({command:"script",arguments:{operation:"recipes"}}),已连接 Web 可选 name:"web-steps"。

结果与继续

  • MCP/CLI 看 execution 判断执行,value 取数据,control 续跑;Script 内 ctx.call 则先检查 ok,再读 result。
  • waitMs 每次最多 60000;超时用原 operationId 继续等待,不重发动作。waiting_for_agent 读取 control.pendingQuestion 并提交 decide。回复已有 result 就直接使用,否则按 resultRef 读取。
  • MCP 过旧或断开可使用 AI App Bridge CLI。断开不取消任务;按原 ID 继续或 cancel。故障按需用 doctor,重启前核对当前任务和影响。
  • 提取/输出问题不等于动作失败;用已保存的 control.source.ref 重读。控件引用过期先观察,结果未知保留未知;业务成功按实际证据判断。使用 freeze 后先 thaw 再继续或交付。

按需参考

  • 执行与恢复:Intent 决策/autonomous,Script 等待、问题、checkpoint 和恢复。
  • 目标与故障处理:selector、系统弹窗、provider、设备占用、UIA/SDK、Runtime 与防休眠。
  • 结果与证据:大结果提取、表格/差量、历史分页、覆盖与归档。

上述参考中的 docs/ 相对 CLI 发布包根目录:从 command -v ai-app-bridge 解析符号链接,其 bin/.. 即包根目录;仓库内为 desktop/ai-app-bridge-cli。查所需章节即可。

版本历史

  • 0.4.19 当前 2026-11-02 18:59

    0.4.18版本更新:明确将Bridge及Intent/Script设为Agent默认执行路径

  • 0.4.17 2026-10-19 02:20

    新增 Web 首次使用快捷引导;优化 extract 默认行为为 auto 以节省带宽;增强设备所有权管理与防休眠机制;修复 iOS 恢复指引及权限声明说明。

  • 0.4.1 2026-09-22 07:54

    更新0.4.0版本指导,优化设备提取工作流;修复M1阶段判别器名称、域指引及生命周期示例;统一CLI/MCP紧凑JSON格式;完善Intent决策循环与脚本编写规范。

  • 0.2.12 2026-07-24 11:37

同 Skill 集合

desktop/ai-app-bridge-cli/skills/ai-app-bridge-use/SKILL.md

元信息

文件数
0
版本
0.4.19
Hash
8d72f7d3
收录时间
2026-07-24 11:37

首页 - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-11-03 13:11
浙ICP备14020137号-1