客户端专项测试一站式IDE(TMQLab)及服务化
如果无法正常显示，请先停止浏览器的去广告插件。
1. 客户端专项测试一站式IDE
(TMQLab)及服务化
泠乐
2. 讲师简介
请插入
您的照片
泠乐
阿里巴巴淘系技术部
测试开发专家
ee.msup.com.cn
2016年加入阿里巴巴，先后加入手机天猫、手
机淘宝等多个移动客户端， 担任测试开发工程
师，主要职责是客户端基础架构的质量保障及
移动专项测试工具建设，领域涉及客户端自动
化、性能专项、稳定性专项、安全生产专项
等。
3. 目录
◦ 客户端专项测试能力基础建设
◦ 一站式客户端专项测试IDE：
▪ 自动化解决方案
▪ 性能解决方案
▪ 体验解决方案
◦ 客户端专项测试服务化实现快速移植的客户端质量保障
▪ 测试资源服务化
▪ 测试能力服务化
▪ 测试方案服务化
ee.msup.com.cn
4. 摘要
客户端质量保障具有其独特特点，除了功能测试外，还需通
过专项测试来关注被测应用的稳定性、性能、体验，以及通过自
动化能力来提升效率 ，但客户端专项测试在落地的时候具有一定
的专业知识门槛、环境成本。
为了能实现客户端专项测试的复用和快速移植， 我们主要做
了以下几件事： 1. 建设业界先进的专项基础能力； 2. 通过一站
式IDE降低专项测试使用成本；3. 在测试资源层、测试能力层、
以及测试方案层三个维度对客户端质量保障工具和方案进行整
合、把服务进行标准化统一输出。
ee.msup.com.cn
5. 案例背景
客户端专项测试在落地的时候存在一定的难度
功能测试
• 业务迭代快，手工效
率低，自动化维护成
本高
• 场景复杂，模拟难度
大，稳定性不高
ee.msup.com.cn
专项测试
• 专业门槛高，需理解
指标、工具、方案
• 环境成本高，真机、
IDE等
业务自定
义场景
• 实现成本高
• 容易重复建设，能力
6. 方案思考
• 迭代速度快， 脚本维护难->不如让生成脚本变得更容易，降低脚本生成成本
• 场景高复杂， 专业门槛高->集中客户端背景的同学专项建设
• 实现成本高， 重复建设多->将基础能力服务化， 直接调用服务
易用性好 专业度高 扩展性强
一站式IDE 全面的专项
能力覆盖 能力服务化
ee.msup.com.cn
7. 方案简述
通过专项基础能力、一站式IDE、统一标准服务来解决客户端质量保障难题
业务自定义客户端质量保障方案
开放API
一站
式IDE
高可用工作台 个人工作台
体验工作台 应用管理
性能工作台 持续集成管理
自动化工作台 自升级能力
设备资源池
标准
化服
务
专项测试方案
领域测试方案
数据报表服务
能力总线
专项
基础
能力
ee.msup.com.cn
稳定性专项能力 性能专项能力 高可用专项能力 体验专项能力
自动驱动能力 校验断言能力 稳定执行能力 常态运维能力
8. 关键方案-基础能力建设
稳定专项能力 演进的Monkey 无侵入遍历 暴力测试
性能专项能力 端内SDK 无侵入性能采集 性能分析
体验专项能力 渲染完成时间 可交互时长 图片上屏时长
自动驱动能力 校验断言能力
数据采集能力
控件识别 控件校验 设备信息
文字识别 文字校验 应用信息
图像识别 图像校验 日志信息
类别识别 智能模型校验 性能数据
稳定执行能力
弹窗处理
ee.msup.com.cn
自适应安装
设备运维
监控&熔断
9. 关键方案-驱动&性能采集
驱动
uiautomator2
ocr
wda
图像
类别
公共数据接口
ee.msup.com.cn
数据 adb tinstruments
应用 Android应用 iOS应用
10. 关键方案-一站式IDE
•
•
开箱即用， 安装->创建脚本->创建任务->持续集成，在IDE中一站式完成自动
化需求；
集成了大部分专项测试能力：性能测试、稳定性测试、体验测试；
工
作
台 我的应用 我的脚本
我的报告 我的任务
自
动
化
视
图 实时设备可视化
脚本生成器
运行调试
性
能
视
图
持
续
集
成
应用管理 脚本管理
任务管理 触发管理
设置面板
可视化性能
性能报告
体
验
视
图
场景设置
环境设置
结果报表
自升级能力
依赖管理
ee.msup.com.cn
更新检查
环境诊断
反馈通道
11. 关键方案-服务化
方案标准化
指标
能力API化
脚本API
ee.msup.com.cn
场景
流程
设备资源云化
开放接口
本地设备
远程设备
12. 关键方案-服务对接流程
场景定义 方案设计 调用能力规划
自定义脚本开发 设备资源规划 应用适配
开放API对接 整体联调 平台上线
大部分新场景创建和开发完成仅需一周时间：
• 完备的基础能力；
• 标准化对解决流程
ee.msup.com.cn
13. 案例总结
• 提升客户端专项工具的易用性，降低使用成本；
• 使用无侵入客户端专项技术， 提升方案的普适性；
• 封装基础能力为能力总线， 为上层IDE和持续集成提供相
同的基础能力；
ee.msup.com.cn
14. 下一步启示
• 更多非入侵能力：主要是iOS端
• 加强数据服务和可视化服务：允许业务更快搭建场景；
• 推出更多官方测试方案；
• 客户端基础能力市场：允许业务发布，在业务方案基础能
力上形成复用；
ee.msup.com.cn
15. 关注msup公众号
获取更多工程效能实践案例