企鹅电竞直播质量体系建设

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1. e t s Te o rH e m 企鹅电竞直播质量量体系建设分享 腾讯 o H r 彭文文⻜飞 e t s e T e m o H r e t s Te Tencent e m
2. 背景 如何对这些指标进行行行更更高高效更更全面面的测试? e Android终端 m o H r e t s Te 直播的场景多: H5播放 推流SDK IOS终端 播放SDK o H r e t s e T 直播的质量量指标非非常多,且比比较敏敏感: 观看 直播 发起 直播 卡顿 进房 耗时 e m 观看 回放 发热 成功率 清晰度 花屏 o H r e t …… s Te Tencent e m
3. 直播测试思考模型: o rH e t s Te 提高高直 播质量量 e m 3、确定度量量指标:什什么质量量? 观众 主播 音音视频类 性能类 卡顿、秒开、清晰度、 成功率、花屏、延时 电量量、发热、CPU、内 存、IO、GC、稳定性、 耗时 e m o H r e t 1、确定目目标: 干干什什么 ? s e T 2、确定用用户对象:谁的质量量? 网网络类 流量量、弱网网 代码扫描类 o H r e t s Te 功能 兼容性 类 Tencent e m
4. 直播测试思考模型: e m 4、如何测试? o rH - 直播核心心功能 e t s e T - 弹幕测试 - 推流质量量测试 - 播放质量量测试 - 清晰度测试 - 卡顿 - 线上流质量量 - 竞品测试 - …… - 直播核心心专项自自动化 - 直播间弹幕压测 e m 5、效率提升: 自自动化 ?工工具? o H r e t s e T - 推流质量量评测 - 播放质量量评测 - 清晰度自自动化 - 卡顿日日志分析 - 流质量量实时告警 - 竞品测试…… o H r e t s Te Tencent e m
5. 企鹅电竞直播质量量专项建设总体概况 e t s Te o rH e m o H r e t s e T e m o H r e t s Te e m
6. Topic One e t s Te o rH e m 1 直播核心心功能自自动化 2 直播间专项性能测试 e m 4 o H r e t s e T 线上直播质量量监控 5 竞品测试 3 直播质量量评测 o H r e t s Te Tencent e m
7. 背景 o rH e m e 推流编码+稳定性 t s Te 推流动态自自适应 播放器器动态缓冲区 播放器器解码播放能力力力 解决痛点和目目标: o H r e t 自自动分析结果 s e T 一一键测试+ 无无人人测试 e m P2P直播 AI流控 其它核心心场景… o H r e t s Te Tencent e m
8. 推流端动态码率自自适应调节智能判定方方案 e m 推流端核心心能力力力: 主播端推流能力力力变化时,自自适应动态调整码率和分辨率,降低下行行行全员播放端卡 顿,达到推流质量量的最佳平衡 e t s Te o rH o H r e t s e T e m 人人工工分析成本:1H/人人力力力 o H r e t s Te e m
9. 推流端动态码率自自适应调节智能判定方方案 e t s Te o rH 自自动化可行行行性 分析 e m 分辨率/码率对 • 360P(500-1000 ) • 540P(800-1400) 应关系 • 720P (1000-1800) o H r e t s e T e m 网网络和码率对应 • 数值变化大大小小不不对应 关系 数值区间对应 自自动化可行行行 √ e m 规律律:波动趋势一一 ? 致 o H r e t s Te
10. 推流端动态码率自自适应调节智能判定方方案 e m 关键词:一一切有规则的人人工工分析都可自自动化!!! o rH e t s • e 无无类似自自 T 动化监控 案例例开展 司内 方方案拓拓展 业界 • 线性变化-- 统计学协方方 差解决方方案 • 弱网网络接口口 • 尝试协方方差算 法效果 • 其他类似直播 自自动化 o H 方方案落地 r e t s e T 自自适应调节码率协方方差系数参照算法 e m 动态码率调 整成功率 设置码率和分 辨率判定 e 其他核心心性 m o 能指标 H r te 码率和分辨 率平均调整 时间判定 s e T Tencent
11. 推流端动态码率自自适应调节智能判定效果 e t s Te o rH e m o H r e t s e T e m o H r e t s Te Tencent e m
12. Topic Two e t s Te o rH e m 1 直播核心心功能自自动化 2 直播间专项性能测试 e m 4 o H r e t s e T 线上直播质量量监控 5 竞品测试 3 直播质量量评测 o H r e t s Te Tencent e m
13. 多维度性能参考直播间压测方方案 e t s Te o rH e m 当我们使用传统的模拟压测方式: 进房耗时⻓长 CPU 占用用高高 直播间 弹幕 /礼物特效 卡 o H r e t s e T 活动⻚页 ANR e m ➢ 问题现象出来了,定位问题还是比较困 难 ➢ 无压测结果数据衡量,无有效标准衡量 o H r e t s Te Tencent e m
14. 现有的直播间压测方方案 o rH 测试场景 e t s Te 压力力力控制 进房 e m 主播端弹幕 核心心 场景 场景组合 观众端弹幕 普通消息60个/s 观众进退房30个/s o H r e t s e T 豪华礼物1个/30分钟 测试机型 TOP机型 压力力力时⻓长 压力力力时⻓长 1H 质量量标准 压不不死 卡不不死 e m 现网网大大主播数据统计 难 定位 题 问 出 Sys CPU < 80% 帧率 >10 压 o H r e t s Te e m
15. 直播间压测拓拓展方方案 e t s Te 方方案拓拓展 o rH e m e m 分模块压测 o H r e t 性能指标细分 s e T 思路路:分层性能分析佐 证问题 进房 弹幕 礼物特效 webview 内存、CPU、帧率、码率等指标 问题暴暴露露至至方方法、对象层 o H r e t s Te e m
16. 多维度性能数据采集方方案 e t s Te o rH 数据采集 方方案 e m 复用用 Perlib专 项方方案 • • • • • • • CPU 内存 流量量 FPS IO读写 GC … e t s e T o H r e m 插桩 插桩方方案 选择 • • • • 弹幕模块丢帧率 方方法耗时 对象创建数量量 大大对象分析 学习成本低 运行行行时无无性能开销 无无需写字节码 e m o Javaassist H r e t s Te Tencent
17. 数据场景细分 o rH e t s Te 统计信息 e m 内存占用用细分 弹幕卡顿信息 礼物特效 webview 弹幕 • Dalvik 内存(触顶率)、.sommap、丢帧率、总流量量、电池温度 弹幕内存/CPU、礼物内存/CPU、web内存/CPUIO/DB(read/write) e m • TotalPss、privateDirty、graphicdPss、dalvikPss、 o nativePss、 erH t •卡顿次数、绘制总次数、卡顿率 s otherPss、.so mmapPss e T 进房耗时细分 •进房总耗时(目目标1S之内)、界面可见耗时、获取视频信息耗时 播放视频流耗时 SO/方方法数TOP • 方方法总耗时排行行行、方方法执行行行次数排行行行、方方法执行行行平均耗时排行行行 SO映射内存排行 o H r e t s Te Tencent e m
18. 多维度性能参考直播间压测框架 e t s Te o rH e m o H r e t s e T e m o H r e t s Te e m
19. 播放端多维度性能参考直播间压测方方案数据展示 e t s Te o rH e m o H r e t s e T e m o H r e t s Te Tencent e m
20. 播放端多维度性能参考直播间压测方方案效果 代表性问题: o rH e m No1.【方方法调用用耗时⻓长】 直播间isSupportHevc 方方法耗时较⻓长 表现:打开直播间超过1S才出现首首帧画面面 e t s Te 排查:方方法耗时排行行行中,TOP1方方法 isSupportHevc 达到200MS 根因:这个方方法是用用来判断是否支支持H265流播放,需要获取支支持的MediaCodeInfo列列表 大大概耗时200ms,而而且 每次进房间都会调用用 o H r e t s e T e m No2.【分模块压测】直播间压测只开弹幕时内存比比所有模块全开更更高高 表现:相同压力力力下只开弹幕模块压测时比比弹幕+礼物+webview内存高高8M 根因:只开弹幕时未对引导⻚页缓存做清理理,而而特性全开有新图片片加载会触发缓存清理理,内存释放 No3.【弹幕卡顿】放器器SDK的回调方方法耗时较⻓长 表现:赛事直播间,弹幕量量60个/秒,礼物特效全开,明显的卡顿效果 排查:弹幕模块卡顿率达12%,TOP方方法查询onNetStatus调用用次数巨大大,一一次8ms 根因:SDK把CPU性能上报放到了了主线程中执行行行,从而而引起主线程卡顿; o H r e t s Te Tencent e m
21. 播放端多维度性能参考直播间压测方方案效果 e t s Te o rH e m 直播间首首帧加载耗时 直播间弹幕卡顿率 13% e m 1200 12% 1200 1、截止止目目前有效性能bug单258个,每个版本节省性能测试人人力力力1人人/日日 o H r e t s e T 2、问题直接定位到代码方方法数,提高高定位问题效率 3、方方案的可复用用性高高,拓拓展更更多业务APP接入入 10% 900 7% 600 3% 0% 2% 900 300 0 o H r e t s Te Tencent e m
22. Topic Three e t s Te o rH e m 1 直播核心心功能自自动化 2 直播间专项性能测试 e m 4 o H r e t s e T 线上直播质量量监控 5 竞品测试 3 直播质量量评测 o H r e t s Te Tencent e m
23. 直播质量量评测和监控 o rH e m 直播质量评测/监控困境 e - 直播个例例问题怎么去排查和定位 t s Te e - 横向:直播新技术(P2P、H265、自自研播放器器)接入入后如何评估横向直播质量量变化 m o H r e t s e - 纵向:发版前后大大盘推流/播放质量量如何评估 T - 如何建立立TOP头部主播直播质量量告警机制 o H r e t s Te Tencent e m
24. 直播质量量评测和监控 e t s Te o rH e m 推流质量量个例例 回放 推流质量量评分机 制 e m o H r e t s e 播放质量量评分 T TOP主播播放 机制 (基于卡顿维 度) 质量量实时告警 机制 o H r e t s Te Tencent e m
25. 推流质量量多维数据协同个例例回放 e m ! 推流质量量影响维度:结合推流质量量影响的关键指标(码率/分辨率、发送速率、帧率CPU等指标)多维度协助查询流质量量 e t s Te o rH CPU 内存 网网络 上行行行 码率 动态 码率 e m o H r 性能指标日日志 e t s e 落地 T GP 帧率 定制指标标准 U o H r e t s Te 直播质量量平台 LPT Tencent e m
26. 推流端多维数据协同个例例回放效果 e m 个例流质量回放: e t s Te o rH o H r e t s e T e m o H r e t s Te Tencent e m
27. 推流/播放质量量评分机制建立立 e m o H 推流质量量加权阈值云控 r e t s Te 播放质量量加权阈值云控 全网网主播端数据 FPS得分 CPU得分 降码率分辨率 上行行行带宽 缓存时⻓长 o H r e t s e T 警告得分 SDK出错 e m 全网网播放端数据 首首次缓冲平均耗时 二二次缓冲平均耗时 缓冲数 错误数 无无缓冲率 卡顿分析系统 o H r e t s Te Tencent e m
28. 大大盘直播数据收集 e t s Te o rH e m o H r e t s e T e m o H r e t s Te Tencent e m
29. 直播评分机制应用用效果 e t s Te o rH e m TOP头部主播质量量情况 横向新技术接入入后播放质量量对比比 纵向版本播放质量量对比比 第三方方链路路影响直播质量量有感知 修改动态缓冲区导致推流质量下降 o H r e t s e T P2P直播接入后直播质量下降 e m H265解码接入后流质量上升 o H r e t s Te Tencent e m
30. 全参考清晰度全流程自自动化背景 e t s Te o rH e m 清晰度调优自自动 化评测 游戏画面面维度: 高高、中、低三档 最高高码率优化 针对不不同游戏主 播设置最佳的初 始码率和分辨率 范围 o H r e t s e T e m 编码器器维度: 机型维度: 编码器器设置不不同 对清晰度影响 top机型同等码率 画质差别度调优 针对编码器器porfile 的设置,不不同设 置的清晰度对比比 o H r e t s Te 针对不不同机型, 同等码率下的画 质评测对比比 Tencent e m
31. 全参考清晰度全流程自自动化方方案选择 e t s Te o rH e m 清晰度评测辩论较多,如何去选择合适的方方案 画质评测IQA 无参考清晰度评测 主流算法:像素梯度、灰度 变化率、拉普拉斯算子子、图 像变换域 适合随机类型的图片片/帧 o H r e t s e T e m 全参考清晰度评测 主流算法PSNR 、SSIM VMAF、IFC、VIF、FSlM 适合有固定源参考,并且编 码/传输不不会新增附加属性 o H r e t s Te Tencent e m
32. 全参考清晰度全流程自自动化方方案 e t s Te o rH e m 推流端(编码) o H r e t s e T e m 播放端(解码) o H r e t s Te Tencent e m
33. 全参考清晰度全流程自自动化应用用 e t s Te o rH e m 应用用场景 开发/测试自 定义参数清 晰度调优 每日迭代版本 监控编码解码 器对清晰度影 响 o H r e t s e T e m 适用于全参 考清晰度评 测接入 o H r e t s Te Tencent e m
34. Topic Four e t s Te o rH e m 1 直播核心心功能自自动化 2 直播间专项性能测试 e m 4 o H r e t s e T 线上直播质量量监控 5 竞品测试 3 直播质量量评测 o H r e t s Te Tencent e m
35. 流质量量实时告警监控整体方方案 e t s Te o rH e m 主播维度 90%活跃靠top主播拉动 主 数 据 收 集 播 分 级 要 重 很 控 监 量量 流质 播 主 部 头 数 据 上 报 推流APP o H r e t s e T 电竞APP e m 心心跳上报svr:心心跳卡顿计 数、播放失败率 用用户监控svr:弹幕关键词 卡顿、黑黑屏 推流质量量上报 数 据 汇 聚 告 警 排 查 观众维度 推流质量量个例例回放 (平台可查) 节目目维度 流质量量svr 微信实时告警 o H r e t s Te 哈勃观看质量量 曲线 Tencent e m
36. 流质量量实时告警机制(心心跳+用用户)互补监测效果 e t s Te o rH e m o H r e t s e T 基础主播 e m o H r e t s Te Tencent e m
37. AI+直播画质异常检测 e m 方方案设计 e t s Te o rH e m 检测&输出异常画质帧 直播内容安全存储系统 输入入 o H r e t s e T 0 花 屏 绿 屏 黑黑 屏 红 屏 蓝 屏 黑黑 白白 屏 其 它 AI模型接口口 输出流质量量平台展示 AI模型训练 o H r e t s Te 异常帧回放+日日志排查 Tencent e m
38. Topic Five e t s Te o rH e m 1 直播核心心功能自自动化 2 直播间专项性能测试 e m 4 o H r e t s e T 线上直播质量量监控 5 竞品测试 3 直播质量量评测 o H r e t s Te Tencent e m
39. 直播竞品测试-关注点 e t s Te o rH e m CPU 内存 卡顿率 帧率 GPU 清晰度 o H r e t s e T e m o H r e t s Te Tencent e m
40. 竞品测试-流畅度 o rH e m e t s Te 底层sdk打日日志方方式 方方案缺陷 - 自研产品可行 - 竞品无法获取 摄像头分帧 o H r e t s e T SufaceFlinger e m 方案缺陷 方案缺陷 - 手机出现闪烁条纹 - 灯光闪烁影响帧率 - 适合SurfaceView控件渲染 -基于TextureView渲染数据不不准确 o H r e t s Te Tencent e m
41. 竞品测试-流畅度新方方案 e t s Te o rH e m o H r e t s e T e m o H r e t s Te Tencent e m
42. e t s Te o rH e m 谢谢! o H r e t s e T e m o H r e t s Te Tencent e m

首页 - Wiki
Copyright © 2011-2024 iteam. Current version is 2.123.1. UTC+08:00, 2024-03-28 21:39
浙ICP备14020137号-1 $访客地图$