美团App性能测试实践
如果无法正常显示,请先停止浏览器的去广告插件。
1. 美团App性能测试实践
美团平台-Nano实验室
2. C
目
录
01 美团平台Nano实验室介绍
02 移动端性能测试简介
03 美团App启动性能测试实践
04 通用的问题治理模型
05 总结与回顾
3. 01
Part One
美团平台Nano实验室介绍
4. 实验室主攻方向
云服务
建设
度量
方案
工具
研发
指标
定义
硬件
环境
流程
卡控
性能
检测标准
制定
合规
检测
漏洞
扫描
劣化
监控
加壳
防护
舆情
感知
安全
5. 02
Part Two
移动端性能测试简介
6. 移动端与服务端区别?
应用运行在终端 应用运行在服务器
设备碎片化 设备较统一
系统环境复杂
发布后难控制
移动端 VS 服务端
系统环境可控
发布后易控制
7. 移动端主要性能指标
启动速度
页面加载速度
网络请求速度
其他响应
CPU
时间
消耗
资源
占用
内存
IO
功耗
8. 03
Part Three
启动性能具体实践
9. 启动性能治理的里程碑
综合治理
应用治理模型
实现卡控
稳定数据
自动化
提高测试执行效率
保证测试数据稳定
避免出现劣化
10. 两个视角看性能问题
视觉
体验
用户
工程
埋点
数据
11. App启动的自动化实现
提高测试执行效率
测试
框架
驱动
工具
设备
管理
12. 数据怎么是这样?
7000
6000
5000
评
价
际 体
级 系
标
国
4000
3000
2000
1+3
1000
0
1
2
3
4
5
基准版本
6
测试版本
7
8
9
10
启动轮次
13. 波动的产生原因和影响因素分析
内部因素 外部因素
程序架构 设备温度
异步处理 系统环境
资源占用 网络环境
14. 内部因素的监控
做好监控,暴露问题
任务数量 任务顺序 磁盘 IO
CPU负载 内存占用 线程数量
15. 外部因素——温度控制
恒温环境
10-15℃
风冷、半导体
干燥
16. 外部因素——系统环境控制
系统自身
系统开关
第三方App
17. 外部因素——网络控制
多种不同的网速
30天零故障
SLA 99.9%
18. 数据分析与异常值处理
7000
6000
5000
4000
3000
2000
1000
0
1
2
3
4
5
基准版本
6
测试版本
7
8
9
10
启动轮次
19. 两种方法&一个指标
上边缘
?
C ? =
x
上四分位数
中位数
下四分位数
下边缘
异常值
箱型图法
3 σ 法
变异系数
20. 机型智能分发与任务调度
集成平台
任务调度
打包平台
NANO性能测试平台
高准确率:90%
高利用率:95%+
高效率:一键触发,自动出结果
可视化展示
21. 卡控流程建设
01 确定基准版本和待测版本
02 确定卡控标准
03 监控所有变更行为
merge?
22. 内录方案 外录方案
内置软件实现录屏 摄像头实现录屏
23. 内录引入的性能开销
Android低端机
CPU 占用
IO 占用
结论
录制过程需要视频编解码,CPU 占用高
iOS低端机
内录 外录 内录 外录
1.59 1.34 2.69 2.23
1.55 1.4 3.28 2.24
1.59 1.39 2.55 2.23
1.1 1.3 2.5 2.19
1.66 1.31 2.45 2.1
1.71 1.28 2.41 2.03
1.6 1.37 2.43 2.09
1.68 1.37 2.42 2.09
1.5 1.4 2.32 2.18
1.55 1.41 2.4 2.05
录制过程会进行 IO 读写操作
变异系数较高,误差大,不可用
均值 1.553 均值 1.357 均值 2.55 均值 2.14
标准差 0.172 标准差 0.047 标准差 0.28 标准差 0.08
变异系数 11.1% 变异系数 3.4% 变异系数 10.9% 变异系数 3.7%
24. 内录与外录的对比
优点
缺点
实现方便
图像清晰易于处理
手机内录 视频文件易于获取
自动化测试易实现
低端机数据波动较大
数据结果不置信
不同手机内录帧率不一致
精度固定60帧/秒
摄像头外录
数据采集精准
视频输出方式稳定
清晰度和帧率可定制
16.6
mS
效率略低
实现成本较高
60
FPS
25. 外录方案的预处理——矩阵变换
cv.FlannBasedMatcher
cv.findHomography
cv.warpPerspective
26. 矩阵变换技术-预处理视频
20s
速度快
99.9%
识别率高
27. 04
Part Four
治理模型
28. DMAIC模型
定义目标、
01 定义( Define )
02 度量( Measure )
03 分析( Analyze )
04 改进( Improve)
05 控制( Control )
口径
控制
持续改进
度量方案
分析原因
29. 通用场景下的DMAIC模型应用
塑身
持续称重
管嘴迈腿
体脂秤
吃多动少
30. 05
Part Five
总结与回顾
31. 启动性能治理实现路径
综合治理
实现卡控
自动化
稳定数据
内部因素
测试框架 外部因素
驱动工具 数据处理
设备管理
关注变更
数据校准
DAMIC模型
通用问题治理
32. 招聘:测试开发岗位
邮箱:huohekai@meituan.com
更多技术干货
欢迎关注“美团技术团队”