vivo流量录制回放平台实践

1. 2021 vivo开发者大会互联网技术专场 vivo平台产品系统架构师

2. 2021.12.16 vivo开发者大会-互联网技术专场

3. 2021.12.16 vivo开发者大会-互联网技术专场

4. vivo业务情况应用商店浏览器视频游戏中心 vivo钱包 vivo官网音乐天气业务种类多流量大系统复杂度高可靠性要求高 JOVI … … 2021.12.16 vivo开发者大会-互联网技术专场

5. • 测试用例编写难。 • 用户真实操作行为不容易模拟。 • 代码执行逻辑通过脚本难验证。测试痛点 • 测试用例设计易遗漏。 • 测试覆盖率难以把控。 • 测试环境维护成本高。 • 测试脚本维护成本高。 2021.12.16 vivo开发者大会-互联网技术专场

6. 2021.12.16 vivo开发者大会-互联网技术专场

7. 解决方案零使用成本无侵入可插拔通用可扩展 • 学习成本低 • 应用系统无侵入 • 易于扩展 • 使用成本低 • 随启随停 • 灵活多变 • 接入成本低 2021.12.16 vivo开发者大会-互联网技术专场

8. 流量录制回放生产机器测试机器回放结果无需编写测试用例通过丰富的流量容易形成高覆盖率录制流量回放流量录制流量完美模拟对象对比效率高、用户真实行为验证更齐全 2021.12.16 vivo开发者大会-互联网技术专场

9. 2021.12.16 vivo开发者大会-互联网技术专场

10. 用户层网关层平台架构应用配置任务配置录制任务回放任务定时任务插件配置系统配置任务启动任务停止任务通知任务巡检心跳检测运行监控业务层数据储存数据查询数据去重调用链安全系统数据分析流量聚类报表统计工单系统权限系统 V消息短信邮件异常统计 .... 系统通知数据层 2021.12.16 vivo开发者大会-互联网技术专场

11. 业务回归 Java Agent核心架构测试赋能数据分析录制回放插件管理用例管理覆盖率分析脚本生成压测模型定时任务链路对比持续集成 …… 安全分析精准化参数分析依赖治理异常分析依赖梳理拓扑关系性能分析 ... Dubbo 基础能力层 HTTP 基础依赖层基础容器层插件管理录制插件回放插件数据Mock 链路采集心跳管理时间回流依赖分析异常模拟环境同步字节码插桩内存防护对象对比配置加载数据分析数据存储流量去重链路分析报表统计 ... 作业管理作业权限作业执行 Agent文件 sh脚本作业查询 ... Hession TTL Jvm Agent LogBack Asm Fastjson 无侵入式AOP解决方案 Guava 2021.12.16 vivo开发者大会-互联网技术专场

12. 入口流量字节码拦截入口流量 HTTP 调用记录业务Service 流量录制过程存储服务子调用子调用 DB 数据加密子调用字节码拦截子调用 Dubbo 序列化 ...... 业务Service 外围依赖调用 Method(Dubbo、Redis、HTTP）调用拦截 Before调用拦截 After 调用拦截调用拦截方法调用入参、返回值调用记录 Throws调用拦截外部介质 2021.12.16 vivo开发者大会-互联网技术专场

13. 流量录制难点和方案 • • • • 严格限制并发录制数量。限制单条流量子调用数量。对录制过程进行监控、异常降级。对相同录制子调用合并。 • 业务系统进行数据上下文传递 • 利用Agent对业务线程池进行动态修饰。 • 利用公司的调用链进行上下文数据标识传递。 • 录制数据脱敏。 • 严格控制流量查看权限。 • 对录制的数据进行储存加密。 • 依靠请求参数去重。 • 依靠调用链路进行去重。 2021.12.16 vivo开发者大会-互联网技术专场

14. 发起调用回放器入口流量 HTTP/Dubbo 调用记录业务Service 流量回放过程回放器回放服务回放结果比对服务子调用字节码拦截 Dubbo 反序列化 DB ...... 业务Service 外围依赖调用 Method(Dubbo、Redis、HTTP） Mock返回参数对比 Before调用拦截选择子调用子调用调用记录外部介质 2021.12.16 vivo开发者大会-互联网技术专场

15. 流量回放难点和方案 • System.currentTimeMillis() native方法动态替换 • LocalDateTime Mock时间调用函数。 • 生产配置中心数据动态替换测试环境配置数据。 • 生产和测试环境内存型数据同步。 • 支持全局降噪字段。 • 支持接口级别降噪字段。 • 支持应用级别降噪字段。 • 支持自定义脚本。 • 对不同子调用制定不同匹配策略。 • 优先进行调用栈比对。 • 调用栈相同寻找差异最小调用。 2021.12.16 vivo开发者大会-互联网技术专场

16. 丰富的协议平台已经支持的录制和回放协议组件类型组件描述录制回放入口流量 HTTP HTTP服务端 √ √ √ Dubbo-Provider Dubbo服务端 √ √ √ Tars-Server Tars服务端 √ √ √ Dubbo-Consumer Dubbo客户端 √ √ × MyBatis MyBatis组件 √ √ × Ibatis Ibatis组件 √ √ × Redis Redis客户端 √ √ × Hibernate Hibernate组件 √ √ × OkHTTP OkHTTP组件 √ √ × Apache-HTTP-Client Apache-HTTP组件 √ √ × Guava-Cache Guava缓存 √ √ × Eh-Cache EhCache缓存 √ √ × Caffeine-Cache Caffeine缓存 √ √ × Tars-Client Tas客户端 √ √ × Elasticsearch Es客户端 √ √ × Spring-Mongo Spring-Mongo客户端 √ √ × 2021.12.16 vivo开发者大会-互联网技术专场

17. 管理平台文件平台业务机器数据服务选择应用查询应用录制回放任务启动过程通过Java Agent Attach机制保证零侵入、可插拔、随启随停任务执行时序图创建任务执行任务任务请求请求校验脚本和资源文件下发 Agent文件安装脚本启动Agent 加载任务配置加载配置返回配置 Agent初始化持续心跳/数据上报保存数据数据查询查询数据和任务状态 2021.12.16 vivo开发者大会-互联网技术专场

18. 流量回放详情 2021.12.16 vivo开发者大会-互联网技术专场

19. 2021 vivo开发者大会互联网技术专场可视化的执行过程可视化的回放执行过程，便于分析失败问题 2021.12.16 vivo开发者大会-互联网技术专场

20. 回归代码覆盖率利用JaCoco计算的流量回归代码覆盖率展示 2021.12.16 vivo开发者大会-互联网技术专场

21. 2021 vivo开发者大会互联网技术专场定时录制与回放定时任务批量执行，提高操作效率 2021.12.16 vivo开发者大会-互联网技术专场

22. 2021.12.16 vivo开发者大会-互联网技术专场

23. 核心指标 0代码10min 接入完成 10k+次录制回放核心业务 200+应用问题发现多数回归测试场景提效 2021.12.16 vivo开发者大会-互联网技术专场

24. 其他方面应用流量压测问题定位安全分析通过分析录制流流量回放重现线分析流量识别安量生成压测模型。上问题。全风险录制指定流量排查问题。 2021.12.16 vivo开发者大会-互联网技术专场

25. 2021.12.16 vivo开发者大会-互联网技术专场

26. 其他方面应用精准化测试 DevOps结合异常模拟 • 代码变更影响分析 • 结合 DevOps 做 • 系统资源依赖分析 • 回归测试用例推荐自动回归测试 • 强弱依赖判断 2021.12.16 vivo开发者大会-互联网技术专场

27. 开源共创插件贡献 Guava插件 Caffeine插件 Ok-HTTP插件 Apache-HTTP插件 EhCache插件【共创地址】 https://github.com/alibaba/jvm-sandbox-repeater 2021.12.16 vivo开发者大会-互联网技术专场

28. 2021 vivo开发者大会互联网技术专场刘延江 | vivo平台产品系统架构师相关技术文章后续将在公众号发布敬请关注