蚂蚁云测终端自动化自研之路

1.

2.

3.

4. O1 O2 O3 平台及背景自动化服务稳基于图像视觉的介绍定性建设自动化体系 O4 未来及展望

5. 平台及背景介绍

6. 蚂蚁云测平台介绍 5w+ 800+ 个 2800+ 台 1000+ 16bu+ 日均任务累计APP 真机在线日均APP异常分析业务线真机集群终端自动化体系平台服务

7. 终端工具面临的业务诉求稳定低成本解决痛点

8. 终端工程业务解决能力异常弹窗自动处理能力长截图传感器MOCK Crash/ANR 自动分析 APP全自动安装二维码生成、扫描 IoT硬件控制录屏/截屏用例UI 录制方案稳定性专项性能专项等等…

9. 云测自动化服务稳定性建设

10. 自研终端自动化框架（Totoro）两层物理架构，多层逻辑实现

11. 自动化基础框架自研必要性企业级软件解决方案 Appium 安全性 Totoro Airtest 性能完全自主研发 ATX 稳定性全链路技术可控成熟开源方案

12. 全链路稳定性建设 TOTORO-SERVER TOTORO-CLIENT Device-Server PC-Driver 异常识别及分类处理 AndroidDriver ChromeDriver AccessibilityService IOSDriver 自研硬件USB SmartHub Uiautomator2 | 可脚本自动控 xcuitest 制物理链路 IOSH5Driver USB reset或adb Server 重启图像算法引擎页面dump/异常检测 iOS webkit_devtools ResponseHandler WebDriver / Interpreter API级别异常重试、方案切换服务多链路降级兜底方法最小依赖、 Android 协议直连 webview_devto HttpServer&ReceiveRouter HttpClient USB/RPC Adb/usbmuxd 协议自实现 Webview H5 server proxy ols

13. 全链路稳定性建设-硬件保障 • • • • 电磁信号屏蔽等效无反射信号环境双排风对流温控超大空间利用率 • • • • 功耗计/温控传感器 USB-BUS 原子自动化控制每个usb口智能处理固件升级

14. 效果 • 框架自身问题异常率低于 0.01% • 设备Androd/iOS周在线率 99%+ • 网络稳定性 100%

15. 基于图像视觉的自动化体系

16. 控件语意类型分析 • 自顶向下排列 • 11种类型识别能力 • 通用UI异常识别 • 业务场景自定义识别

17. 三种颗粒度的图像对比 1. 像素指纹对比约10% 2. 业务场景对比约70% 3. UI控件语意对比约30%

18. 图像采集遇到的问题  adb/idevicescreenshot 行业现有截图方案截图慢  部分页面限制无法获取截图  图像抓取大小、质量等属性无法控制  单点链路调用在多环境下不可靠  准确率如何持续提升

19. 底层自研图像抓取能力苹果手机获取图像电脑 XCTest私有API 突破系统限制 PNG/mp4 socket 毫秒级别抓取速度 usbmuxd 安卓手机图像属性可配置 tcp/ip socket shell/app process 易扩展双端统一API display surface socket 开放API Adb/usbmuxd

20. 多级降级策略保障执行环境高可用性 • 动态升级算法模型执行环境统一接口请求本地算力 • PC/Android/iOS 公司内网络局域网特殊业务专用网络商业化mPaaS场景 Android/iOS/PC差异返回统一格式 • localhost 加速卡 • 局域网算力服务算力服务端算力 • 统一服务提供 • 更新迭代反应快

21. 数据驱动算法调优

22. 效果展示算法调用次数算法API占比约成功率保障算法模型迭代 70W+ 65% 99.9% 2hour/ 次

23. 图像视觉算法整体回顾快速/高可用图像抓取能力手机/PC/局域网 /算法服务多链路算力保证统一API 算法数据闭环能力输出业务模型训练

24. 未来及展望

25. 未来及展望业务能力技术开放持续扩大业务范围测试有效性探索沉淀技术经验增加分享交流机会

26. 联系方式-钉钉

27. 360技术 THANKS 360质量效能