数据驱动性能体验优化
本文为此系列第五篇文章，前四篇见——
第一篇：淘宝用户体验分析方法论
第三篇：物流产品体验诊断与优化
第四篇：BPPISE数据科学案例框架
启动越快用户体验一定越好吗？不一定，当优化到一定程度达到用户预期时，优化可能不再有明显的用户体验收益。
不同机型做相同幅度的优化，用户体验效果相同吗？也不一定，不同的用户群体预期不同，对于相同优化的体感也会大相庭径。
由此可见，通过单纯的客观指标无法反映用户的真实体验，主观反馈才是了解用户体验的关键。此外，不同优化程度也意味着不同的技术投入深度和优化难度。
“如何定义合理的性能优化目标”是技术团队普遍存在的痛点，即如何找到一个与满意度强相关的客观指标，设定合理的目标，能兼顾技术投入ROI，且有效提升用户主观性能满意度。围绕这一命题，我们与淘宝用研团队深度合作，共同提出【主客观关联】这一数据分析方法，在本案例中，将介绍主客观关联分析模型的构建方法和应用。
▐ 用户调研
基于问卷回收统计并拆解性能满意度的负向问题，我们分析得出结论：要提升整体性能满意度，优先级最高的是优化淘宝APP的启动性能。
▐ 问题定义
虽然针对用户在淘宝的性能体验，用研团队已通过多种手段积累了长期的主观性能体验调研数据。但这些数据目前多用于观测用户体验变化，发现体验问题，产出用户体验调研分析报告。客观性能指标的变化和主观调研数据之间应如何关联，是这次数据挖掘前期最大的难点。
传统地，我们能想到最直接的关联方法就是：先观察主观整体性能满意度是上升或下降，再对比大盘客观性能指标是提升或是劣化。这时通常会有几类情景：
不能关联上（如性能满意度下降，但发现性能指标在提升），我们第一反应会质疑主观调研数据的准确性，认为无法进行关联；
能关联上（如性能满意度下降，发现性能指标的确在劣化），我们可以构建简单的数据模型（如线性、二次回归模型），但无法深入解读用户心理，也无法对于性能优化提出建设性的建议；
主客观数据都变化微弱，我们无法获取任何有效信息。
不难发现，传统的关联方式太浮于表面，只是做了主客观数据在大盘表现上的“对应”，难以提供深度洞察的信息。所以，我们认为，可以尝试在用户粒度的主客观数据关联，站在具体样本用户的视角，解释个体使用淘宝时的性能表现，如何影响个体的主观反馈。
综上，围绕启动性能客观指标，通过用户粒度的主客观关联分析，探究“如何优化启动体验？”，“优化到什么程度？”，进而能降低用户对启动慢的负向反馈，提升用户性能满意度。将数据问题定义为：如何建立主客观数据关联，围绕冷启耗时设定合理的优化目标，再按机型维度下拆找到差异化目标。
样本选取
主观数据：季度用研问卷反馈样本
客观数据：问卷反馈用户在反馈前3日的每次启动数据（N = 问卷反馈用户数 * 反馈前3日内所有启动次数，问卷填写的选项标签会带入每条启动数据）
指标定义
主观指标：性能满意度、负向反馈率
客观指标：淘宝APP冷启动可交互耗时
分析维度：性别、年龄、活跃度、购买力、系统（iOS/Android）、设备等级
策略洞察
▐ 探索主客观相关性
假设1：用户特征会显著影响主观性能满意度
首先，我们对用研本身的样本数据进行了探索，分析用户基本特征、设备特征与性能满意度之间的相关性，从图4.1中可以发现，调研用户特征（性别、年龄、活跃度、购买力、设备等级、系统）与性能满意度相关系数均小于0.3，相关性较弱。即使是我们猜想应该非常相关的设备等级，与性能满意度之间相关性也很弱。可以认为，不同设备等级的用户也有不同的心理预期，并不代表设备差的性能满意度就一定低。
图4.1 调研用户特征与性能满意度之间的相关性
备注：1.以上变量中，性别、系统处理为哑变量（性别：0-男，1-女；系统：0-iOS，1-Android），其余均处理为有序变量（其中满意度1-5分别代表“非常满意”到“非常不满意”）；2.相关性计算为皮尔逊相关性（0.1-0.3弱相关；0.3-0.5中等；0.5-1.0强）；
假设2：性能指标与体验负向反馈率存在相关性
接下来，我们对在问卷中反馈启动性能不满意的用户，假设该用户在提交问卷前N天（短期内）大概率经历过较差启动性能体验问题。基于以上假设，形成分析思路：基于用户的启动负向反馈率及其前N天的冷启耗时数据建立分析模型，绘制主客观指标关联图，寻找体验负向反馈率与冷启耗时之间是否存在魔法数字（临界值、拐点）。
图4.2 启动耗时分布与负向反馈率关联图
如图4.2所示，双端的表现并不一致，Android用户在启动耗时优于拐点 Xs后，有很长一段“低收益期”，且这段时期依然保持在较高的负反馈率，而iOS用户的拐点非常靠前（甚至可以认为没有明显的拐点），基本可以认为iOS端只要有优化，就能降低负向反馈率。双端不一致的表现，也说明相比Android用户，iOS用户对于启动性能更加挑剔，要求更高。
关键结论：大盘角度，淘宝Android端负向反馈率在 Xs出现拐点，iOS端负向反馈率在 Xs出现拐点。性能差于拐点时，性能优化能明显带来负向反馈率下降；性能优于拐点时，性能优化对于体验的提升效益不再显著。性能优化提高双端拐点的达标率，可以最大程度降低负向反馈率。
▐ 构建主客观关联模型
在上述分析中，我们只是用一个截面数据，关联了性能指标与体验指标，是一个静态视角的描述。而在实际性能变化的过程中，图中的两条线：启动耗时分布和负向反馈率分布，都是会随之而变化的。因此，我们根据已有的分析信息，作出一个动态模型的假设，推演性能优化对整体负向反馈率的收益。
模型假设：图4.3是提炼出的主客观关联模型的假设，是启动耗时分布与负向反馈率分布的结合，我们认为：
性能优化带来的启动耗时分布变化：启动数据大致呈现一个正态分布（实际近似偏态分布），随着性能优化，分布的峰值会往前移，同时分布会变窄，因为性能会更加稳定。
性能优化带来的负向反馈概率分布变化：随着性能优化，整体的负向反馈会下降。
因此，图中的阴影部分即是性能优化带来的体验价值（面积还需要考虑权重）：
图4.3 启动主客观关联模型（示意图）
▐ 验证体验优化目标和收益
性能优化对负向反馈降低效果最明显的为1 -> 2 -> 3（即低端机优化对于体验提升的收益最明显）； 设备等级3-9期间，启动性能越好，负向反馈变化平缓，有小幅下降趋势； 设备等级9-10期间，启动性能越好，负向反馈反而轻微上升；
图4.4 启动耗时分布与负向反馈率关联图 (Android)-按设备性能分级
从设备性能分级角度发现：设备性能评级越高，启动耗时均值越低（分布左倾），启动负向反馈率也会越低。并且，3-10级（中、高端机）启动耗时分布的集中值对应的负向反馈率会存在临界值，维持在 X%左右。
图4.5 淘宝启动性能优化梯度表
基于过程数据产出启动性能优化梯度表（图4.5），指导技术团队性能优化的预期收益。将低端机（1-2）优化至中端机（3-4）的性能水平，低端机性能需要提升 X%左右，该部分用户的负向反馈率可以从 X%降低至 X%，假设其余等级性能情况不变，最终可以将大盘的负向反馈率从 X%降低至 X%（-Xpt）。
关键结论：对于启动性能优化，优化低端机对于对于降低负向反馈的收益最高，并且可以一定程度带动大盘负向反馈下降。上述只是一个估算示范，未来用这个梯度表（主客观关联模型），可以根据体验目标，推算性能提升的目标如何设定；也可以根据性能优化的情况，估算体验提升的效果。
本案例中，我们帮助“淘宝性能优化项目”在优化目标和范围层面给予更加明确的建议：淘宝Android端以冷启耗时 Xs达标率作为性能优化核心指标，iOS端以冷启耗时 Xs达标率作为优化目标，重点聚焦低端机优化以实现技术投入的效益最大化。
效果验证：在具体优化过程中，数据侧通过建设性能域指标体系和数据体系，建立AB实验规范体系，快速迭代衡量优化效果，项目组也拿到了一定阶段性结果。围绕优化目标，将整体启动耗时Xs达标率提升Xpt；同时聚焦低端机优化，将耗时从 Xs优化至 Xs；整体上支撑了淘宝性能满意度提升Xpt。
此外，我们认为，相比起单纯的性能优化，产品策略的调整会给用户的体验带来更显著的变化。用户预期调研不仅仅要探索用户对于性能（如快慢）的预期，更要挖掘用户对于产品形态、策略的需求，进而才能“性能优化+产品调整”共同促进用户体验。
▐ 分析方法完善
淘宝有不少技术优化场景存在目标难以定义的问题，后续希望能将本案例的分析方法进行推广，系统化地支撑到这些场景。
场景化调研
若要系统化支撑需要满足一些前提条件，譬如：用研数据需替换成场景化满意度调研数据，技术优化需接入APM类SDK产出用户/设备粒度的埋点数据等。本次主客观分析，采用的是用研团队按月产出的大盘性能体验数据，该数据背后的问卷细致全面，深度挖掘了用户的体验问题。但对于这样大而全的调研，显然会一定程度上损失迭代的速度，与单一问题反馈的准确度。因此，未来可以尝试用更加“精巧”的场景化调研，快速地定位单一场景的体验变化，与大盘调研相辅相成。当然，考虑场景化调研的同时，还需要想清楚该场景是否适合？是否有反馈偏差？是否会对用户造成额外的打扰？是否会阻断用户正常的使用链路？
用研AB体系
主客观关联更多提供的是前置洞察，用于解读用户在使用App时的客观性能如何影响他们的体验，给研发团队提供性能优化的思路，并通过提炼出的模型为性能优化进行目标设定或效果预估。但在与研发团队交流的过程中，我们发现要真正把主客观关联这件事做成闭环，还缺少一个后置验证的环节，如何验证性能优化后对于体验的实际提升是难点。
因此，完善的用研AB体系与流程，是未来主客观关联形成闭环的关键。用研AB即是在AB实验中，融于用户调研，将用户体验指标（满意度、NPS、负向反馈率、舆情等）作为实验的一个关键指标。这样下来，主客观关联可以通过前置洞察，对性能优化、业务调整提供决策信息；每一次性能优化、策略调整随后会通过用研AB进行后置验证，验证优化与调整对于用户体验提升的价值，也反向验证我们在前置洞察中的结论是否可靠。
负向反馈率与满意度之间的关系
用户体验的总体目标是提升满意度或NPS，但仅盯着这些整合指标，很难有优化的抓手。因此，从单一问题的负向反馈率入手提升体验，是一个更好的选择。本案例主要针对启动性能的负向反馈率展开，不得不承认，单一性能的负向反馈率下降，不一定能带来整体性能满意度的提升（因为还有各种其他性能可能在劣化）。但我们相信，逐一击破这些问题，一定能带来整体满意度的提升。
我们是大淘宝技术交易履约数据科学团队，负责面向淘宝交易履约链路（下单、支付、购物车、物流、逆向等）海量数据挖掘DAU、DAC及用户体验增长机会。团队致力于围绕用户行为路径、用户VOC洞察用户需求，基于人货场匹配落地交易链路触达、转化、复购和体验策略，提升消费者购物体验。
目前团队招聘中，欢迎拥有消费者、商品、交易、营销等相关领域数据分析/数据科学背景的优秀人才加入，有兴趣可将简历发送至zhuqi.zq@taobao.com 。