数字体验测试平台建设

1. 数字体验测试平台建设刘苗

2. 讲师简介刘苗字节跳动测试开发工程师毕业于华中科技大学计算机专业，曾在百度任职，负责某产品服务端测试。2019年加入字节跳动互娱研发专项测试团队，负责数字体验测试平台的建设。我们团队的愿景是通过数字体验测试工具和平台服务，助力业务打造拥有一流体验的产品。 ee.msup.com.cn

3. 目录 • 数字体验测试背景 • 平台化建设实践 • 最佳案例 • 总结与思考 • Q&A ee.msup.com.cn

4. 数字体验测试背景 ee.msup.com.cn

5. 体验痛点用户场景：短视频为例 1.拿出手机体验痛点: 2.点击应用 3.开屏广告 4.Feed 流呈现 5.功能体验启动时间过长首帧耗时长播放卡顿 ...... 网络无法加载发热 ...... 流量消耗大 ...... ee.msup.com.cn 6.退出应用

6. 数字体验测试概念与难点数字体验上层体验功能数字体验网络难点 ee.msup.com.cn 内容性能交互感官安全隐私音视频质量用户环境复杂量化专业性分析定位难采集敏捷迭代 ...... ......

7. 产品数字体验保障体系业务方系统&流程持续集成发布管理性能监控线上数据分析工具平台支撑边缘设备走查工具网络工具测试服务线下手工测试环境本地模拟用户反馈跟进数据分析实地走查 ee.msup.com.cn

8. 数字体验测试体系 ee.msup.com.cn

9. 数字体验测试平台生态 ...... ee.msup.com.cn

10. 平台化建设实践 ee.msup.com.cn

11. 边缘设备租用平台 —— 基础设施 • 真实设备：Android/iOS/PC等多种设备类型，各地主流品牌与TOP机型 • 真实网络：主流运营商网络覆盖 • 多地部署：核心地区覆盖，150+地区 • 专用硬件：弱网模拟器、拨测盒子、机械臂 ee.msup.com.cn

12. 边缘设备租用平台 —— 平台能力 • 操控：远程操控能力/复杂手势操作、文件传输、应用安装等 • 采集：声音传输、网络抓包、录屏、物理性能、日志等 • 模拟：弱网模拟 ee.msup.com.cn

13. 边缘设备租用平台 —— 一键上云 • 一键上云，共享设备、复用云端能力 o step1 : 本地连接 o step2 : 一键注册 ee.msup.com.cn

14. 体验测试数据分析平台 —— 背景 1.拿出手机 ee.msup.com.cn 2.点击应用 3.开屏广告 4.Feed 流呈现 5.功能体验 6.退出应用

15. 体验测试数据分析平台 —— 网络分析 • 网络性能指标 • PCAP、Har 解析可视化 • 流量审计规则 • 流量调度分析 ee.msup.com.cn

16. 体验测试数据分析平台 —— 视频分析 • 视频质量 • AI智能分帧 • 手动分帧标注 ee.msup.com.cn

17. 体验测试数据分析平台 —— 物理性能分析 • 非侵入采集 • 多物理指标 ee.msup.com.cn

18. 体验测试数据分析平台 —— 工具链建设 • 全链路 • 抓包工具 o 自研双端抓包网络分析工具 o 四/七层数据全采集 o 弱网模拟 ee.msup.com.cn

19. 体验测试数据分析平台 —— 服务架构微服务架构：分析能力易扩展、精准限流 ee.msup.com.cn

20. 体验监测平台 ——业务痛点批量测试批量的网络测试，更为准确的统计结果？在用户发现之前，提前知晓网路质量新产品/活动要上线，新域名/页面在各地的访问速度、成功率如何？容灾域名平时没有流量，如何保证其可用性，关键时候敢切？网络问题定位线上某域名访问成功率下降，如何快速获取真实网络数据，定位问题？ ee.msup.com.cn

21. 体验监测平台 —— 能力 • 通过各地的分布式节点模拟用户主动访问，发现各地网络质量和体验问题 • 支持多场景、多种探测能力 • 智能监控和报警 • CDN、行业评测报告 ee.msup.com.cn

22. 体验监测平台 —— 技术亮点 • 动态节点下发 • 智能报警多节点多地区联合分析线上线下结合 • 时序分析可视化，列数据库 ee.msup.com.cn

23. 最佳案例 ee.msup.com.cn

24. 最佳案例 1 —— 游戏本地化测试难点：解决方案： • 部分地区低端机占比高 • 当地 TOP机型 • 电信运营商多，服务能力参差不齐 • TOP 运营商 • 游戏测试特点：交互复杂、延迟要求高 • 双端上云，同步投屏 ee.msup.com.cn

25. 最佳案例 2 —— 网络优化发现问题：请求调度异常，资源未配置动态加速 DNS解析时间过长大量大图片请求部分请求参数过多且重复 http包体积过大优化措施：优化成果：动态选路、配置兜底 IP 请求成功率提升2.2% 大图片 Webp替换核心请求耗时降低约20% 重复 header和 query进行 hpack 压缩发包大小降低53% 大请求 BR 压缩收包大小降低9% ee.msup.com.cn

26. 最佳案例 3 —— 测试提效难点：精准度要求高分帧耗时耗力数据量大、数据统计困难方案：高帧率摄像机、专业机架采集定制化/通用智能分帧数据链路打通收益：效率提升50%+ ee.msup.com.cn

27. 思考与总结 ee.msup.com.cn

28. 思考 02 03 全景式体验测试能力扩展基础技术持续沉淀赋能业务，追求极致体验 02 体验测试 01 04 ee.msup.com.cn 行业领先的数字体验测试标准

29. 总结体验优化能为业务带来巨大收益数字体验测试应尽量贴近真实用户环境数据采集和分析是数字体验测试工具和平台的核心 ee.msup.com.cn

30. Q&A ee.msup.com.cn