基于快递场景下的A/B测试在营销设计中的应用
“设计可以像科学一样去定义并解决问题”，在设计的过程中总会有诸多不同意见的纷争，当方法无法作出决策的时候，进行AB测试可以更科学的去协助我们进行决策。本篇文章将基于快递场景下的AB测试，分别从“基础篇”“探索篇”“实战篇”来具体介绍为什么做AB测试、测试组如何设置变量及分组、以及后续依据数据如何进行后续的分析和解剖，以期望帮助设计者更系统化的进行AB测试工作。
一、基础篇
A/B测试的定义
A/B测试是什么？
A/B测试（也称为分割测试或桶测试）是一种将网页或应用程序的两个版本相互比较，用以确定哪个版本性能更好的测试方法。
我们也可以简单的理解为，将用户随机进行分组，分为对照组和实施策略组，对比这些实验用户组的核心数据表现，检测哪个试验组的转化目标效果更好，以此评估方案收益。
为什么进行A/B测试
——过去我们判定一个设计产出的优劣往往依靠各方的主观判断，为了避免设计的主观性以及无效沟通，可以尝试进行AB测试：
通过AB结果数据来辅助决策、帮助我们找到问题重点，检测哪个方案核心数据表现更好；
通过构建假设，更好的了解为什么修改某些元素会影响用户行为，从而抓住用户喜好，指导后续设计方向；
通过长期的实验，探索影响数据增长的变量，如风格样式、排版布局、装饰元素、利益点曝光等，并形成可复用的设计规范
AB测试主要分为策略实验和样式实验，其中策略实验包含推荐策略和运营策略，日常的算法实验就是推荐策略实验的一种，设计师经常遇到的是UI样式的AB测试，也就是样式实验；本篇主要讲解的也是这一部分的实验方法和思路。
如何进行A/B测试
1、确定实验目标
目标是用于确定变体是否比原版本更成功的指标。
如资源位的点击率、链接到优惠券的领取量、活动的分享量等。以此作为考核目标，可以更清晰的看出实验组的数据效果优劣。
2、创建实验变量
在原版本的基础上进行元素上的更改。
如在视觉样式方面可以通过 更改按钮的颜色、文案的展现形式、金额的放大缩小、视觉风格的转变、主体物的更换、重点信息的位置调换等；
功能方面也可以通过突出和隐藏该功能、功能及操作步骤的变化进行实验变量的确定。
需要确定好以上变量中哪些可以作为核心指标去衡量效果，哪些可以作为辅助指标协助决策。
3、生成想法假设
根据已经确定的目标，生成AB测试的想法和假设，以便统计分析实验变量是否会优于原版本。
这里可以根据方案的变量，设置实验的分组，以下是两个常用的实验设计方法；
1.单因素实验设计
单因素实验设计是指实验中只有一个影响因素变量，如颜色变化、文案变化等，其他内容保持不变。
可以直接分为【对照组】、【实验A组】、【实验B组】每组变量保持唯一。
通过对【实验A组】和【实验B组】进行实验对比，判断哪组的数据反馈效果更好，那么我们就认为这个是【实验A/B组】起到了作用
2.多因素实验设计
多因素实验设计是指实验中有多个影响因素变量，如同时测试【实验图片风格AB组】和【实验利益点是否突出AB组】，这里面有两个变量，对应就有四种组合条件即：
图片风格A，利益点突出
图片风格A，利益点不突出
图片风格B，利益点突出
图片风格B，利益点不突出
多因素实验的优势点在于，除了可以同时检测同一个变量不同实验条件之间产生的差异之外，还可以对变量之间的组合效果进行检验。
这种方法适用于在单因素的AB实验内，我们发现风格A比B效果好，利益点突出比不突出效果好，但是不代表这个组合情况的数据反馈是最好的，也有可能产生其他的效果，这种情况下我们就可以使用多因素实验。
4、收集实验数据并分配流量运行实验
提取埋点数据，针对指定区域的假设收集对应的数据用户进行AB测试分析。通过流量的分配，将用户随机分配控件或者变量。测量、计算比较他们之间的相互作用。
在实验组流量分配方面，可以参考以下分配逻辑
1.实验不影响用户体验
如部分样式实验、文案实验等，可均匀分配流量实验
2.实验不确定性较强
如产品新功能上线、可先小流量进行实验，分析数据，在规定的时间范围内得出结论并进行调整
3.希望收益最大化的实验
如一些运营活动等，目标尽可能将效果最大化，一般需要大流量的实验，流出小部分对照组用于评估ROI
5、实验结果分析
实验完成后，通过对照组以及实验组版本之间的数据差异进行统计和分析。
如果实验组的关键数据指标呈正向收益，可以考虑全量使用此方案或设置新的实验组逐步剥离变量，得出更精确的结论；
如果实验组的关键数据指标呈负向，可继续优化后再次尝试；
如果监测到关键数据指标变化不大，但本身改动较大，可以考虑扩大流量继续观察。
二、探索篇：京东快递小程序下单完成页锦鲤红包弹窗测试
锦鲤红包作为京东快递小程序在下单完成页面重点投放活动，在下单完成页分流投放占比高达90%以上，是下单完成页重要复单转化活动，旧版的下单锦鲤诞生于2年前，现如今存在诸多视觉体验问题，本次更新在保留旧版的玩法框架基础上，对视觉样式及结构进行更新。并持续监测视觉更新后的数据反馈。
用户通过下单完成页弹窗进入锦鲤红包活动落地页，提示可获得的优惠券红包，若分享红包则可获得更多奖励，用户也可选择直接领取红包得到小额优惠券奖励。
旧版暴露的问题
视觉风格老旧，色彩鲜明度弱，视觉效果不够突出。
信息层级不够明确，用户更关注的信息难以聚焦，从而降低了获得感。
优化的目标及设计方案
除了在视觉风格方面更新视觉样式，结合当下视觉风格，给用户全新的视觉体验以外；
调整视觉展示形式，主体更突出，打开的红包相较于未打开整体获得感更强，白底卡片在热闹的营销页面中，视觉上更有呼吸感，也更易让视线聚焦；
强化按钮点击感、引导性，相较于旧版左右布局的按钮展示方式，上下布局的按钮引导性更强，按钮尺寸更大，同时突出分享按钮，在视觉和位置上都做了强突出，增强引导性，强化营销感激励感；
优化视觉层级，突出利益点信息，旧版更突出有多少好友参与，新版通过将利益点突出放大，关注信息优先级提前，不重要信息减弱，从而提升用户的获得感；
利用光源引导焦点，光效晕染氛围，增强活动氛围感沉浸感。
新版上线后数据反馈
新版活动上线后，我们拉取了上线前10天以及上线后20天，共一个月的数据量进行对比，可以看出，在新版活动上线后，“弹窗点击率”大幅提升。
除了入口点击率的提升，活动内的用户行为数据如红包分享率以及下单跳转率也有较大的提升，由此引发了我们的思考，活动的整体数据是否会因为入口视觉的变化而发生改变？
为什么选择下单完成页弹窗进行AB测试？
下单完成页弹窗，弹出逻辑为当用户完成当前下单操作流程后，在下单完成页默认弹出该弹窗。用户可进行关闭和跳转。这类用户首先具备了下单的诉求，均为已经下单的用户，用户行为较为纯净，较为容易检测他的后续行为数据。
在以往的运营行为中，我们多数时候更关注与流量较大的首页弹窗等，该页面的视觉和活动一直处于未更新优化的状态。在后续我们在该位置增加了资源位分层的逻辑，辅助业务去配置一些重要时间的被分流出去活动资源位，在项目初期我们发现，在更换新的资源位的时间段，弹窗点击率都有小幅的提升。
但由于下单页暂无法进行同时间投放不同的资源位，结合以上，最终选择通过不同时间段投放不同视觉同一活动的方案，作为初期AB弹窗测试的探索。
锦鲤红包弹窗测试
1、通过转化漏斗确定实验目标
我们对锦鲤红包整体活动的转化漏斗进行分层，提取出我们想要对比和想要做AB的关键数据指标。
监测数据的主要目的：
整体活动视觉改版的数据是否有提升？
入口视觉/利益点是否足够吸引人——检测入口点击量 点击率
用户的参与度/分享欲——检测拆红包按钮点击量（分享按钮点击量）分享率
优惠券的领用情况（优惠券核销率）——业务反馈的领券量
用户在活动内的下单行为转化——用券寄件按钮的点击量 点击率
入口的视觉样式是否足够吸引用户？
通过风格差异较大的AB版弹窗视觉的输出，在不同时间段进行投放，检测投放期间点击情况。不断的去探索哪种视觉风格吸引力更高。
2、创建实验变量
建立了数据目标后，我们开始思考影响该数据的可能会有哪些元素。从以往的投放经验来看，用户对利益点刺激较大的、优惠力度突出的、一些红包优惠券促销等元素表现较为敏感，此类入口往往点击率也会更高。
以此为依据，我们最终确定第一轮AB主要的探索方向在【利益点是否突出、金额是否放大展示】
3、生成想法假设并创建实验分组
我们设定三个实验分组【对照组】【方案A】【方案B】
【对照组】为旧版红包方案
【方案A】和【方案B】利益点相同，均为“99元红包”，在展示形式上做了区别；
【方案A】与对照组形式一致，均为红包优惠样式，区别仅仅在视觉元素方面进行丰富；
【方案B】同样也为红包优惠样式，但突出展示“99元”利益点，金额放大，按钮也更明显。
由于下单页弹窗数据一直较为稳定，结合以往的数据反馈，我们选择长周期进行观察，对【方案A】和【方案B】进行反复交替上线，检测数据反馈。根据两个方案给出的数据得出结论再进行下一步的探索。
4、数据反馈及分析结论
截止到12.21周，我们一共整理了近2个月的数据反馈，数据反馈如下：
新版上线前，弹窗的整体点击率在3.5%左右
在后续的测试过程中我们分别上线了方案A和方案B，其中方案B的数据反馈效果最优 整体点击率在10.4%左右，较之前点击率提升了197.1%
通过两个多月的数据观察，我们得到了初步的结论：
保持更换视觉可以提升用户新鲜度，达到点击率的提升
比起红包这类刺激，用户对金额以及利益点放大这类展示形式敏感度更高
三、实战篇：京东快递小程序首页弹窗AB测试
项目背景
快递小程序首页的弹窗一直是我们面向全量用户流量、点击量最大的入口资源位，弹窗形式多变，也是我们探索视觉风格，掌握用户喜好的一个有效途径。日常投放该弹窗主要分为四类：
周期内当前节日促销领券活动
每周四上线周四领券活动
每周六、日上线周末领券活动
亲情卡办卡活动
除此之外会额外针对新人用户发放新人礼包活动。
在实验之前，我们日常活动中经常会通过更换不同种类的弹窗样式，多变的视觉风格去吸引用户关注。
怎样的视觉风格和展示形式吸引度更高，能够一定意义上提升点击转化，是否可以通过AB实验得到答案？
首页弹窗第一轮AB测试
12.4日首页弹窗支持AB测试后，我们可以在统一时间段在线上投放AB方案。并在子午线查看数据，在视觉风格及方案选择的同时我们也优化了视觉的投放策略。
冬日暖心寄活动AB版方案在12.4日投放，周末活动在12.2日投放，周四活动在12.14日投放。第一批数据监控周期为2-3周。
1、确定实验目标
本次AB的关键数据指标较为明确，即资源位入口的点击量/点击率以及业务反馈的优惠券领券量；前者为主要监测的指标。
监测数据的主要目的：入口的视觉样式是否足够吸引用户？
通过风格差异较大的AB版弹窗视觉的输出，在同一时间段进行投放，检测投放期间点击情况。不断的去探索哪种视觉风格吸引力更高。
2、创建实验变量
针对以往我们对首页弹窗视觉风格的尝试和了解，同样也是为了验证之前锦鲤红包得出的结论，我们第一批创建的实验变量同样为【利益点是否突出、金额是否放大展示、优惠券展示样式是否更吸引人】
3、生成想法假设并创建实验分组
我们初步定位为两类三组实验组，在三组内又分别设定两个实验分组【方案A】【方案B】
由此我们得出：
优惠券样式对用户吸引度组：
【冬日方案A】&【周四方案A】突出展示优惠券样式，平铺大额优惠券
【冬日方案B】&【周四方案B】以活动主题作为主体，形式感更强
利益点突出金额放大组：
【周末方案A】突出展示利益点金额，优惠力度更直接
【周末方案B】以活动主题作为主体，形式感更强
考虑到冬日活动仅上线20天，我们选择冬日活动整个周期进行观察，期间对特殊日期上线的周四周末进行监控，检测数据反馈。根据三个活动两个不同方案给出的数据得出结论再进行下一步的探索。
4、数据反馈及分析结论
截止到12.21周，我们一共整理了近3周的数据反馈，数据结论如下：
在方案上线后，数据趋势较为稳定，【方案A】在点击率方面的表现优于【方案B】
通过三周的数据观察，我们的结论已经足够明确，由此我们第一轮的实验得到初步的结论：
优惠券平铺样式的展示形式用户接受度吸引力更高，达到点击率的提升
比起优惠券的展示形式，突出利益点相较之下并不绝对稳定，需要通过后续的进一步实验得出结论。
首页弹窗第二轮AB测试
由第一轮可以得出，用户对【优惠券】展示形式、【利益点放大、金额突出】的点击率更高。
那么点击率的增高是否会与优惠券的数量以及优惠券的面额有关？
第二轮的主要探索方向主要分为两部分
基于【优惠券展示】的同时，对其他元素进行变量的设定，观察【优惠券的数量多少】元素对整体的点击率是否有影响。
基于【优惠券展示】的同时，观察【折扣】和【金额】元素哪种点击数据反馈更高。
与第一轮步骤相同，我们同样进行了二轮实验分组
优惠券数量多少对用户吸引度组：
【年货节方案A】&【周末方案A】使用【多张】优惠券展示形式
【年货节方案B】&【周末方案B】使用【单张】优惠券展示形式
优惠券折扣和金额对用户吸引组：
【复工复产方案A】&【元宵节方案A】突出展示利益点金额
【复工复产方案B】&【元宵节方案B】突出展示利益点折扣
第二轮监测周期为春节前后的四个营销活动。
数据反馈及分析结论
截止到2.28周，我们一共整理了近3周的数据反馈，数据结论如下：
在方案上线后，数据趋势较为稳定，【方案B】在点击率方面的表现优于【方案A】
通过春节前后月余的数据观察，由此我们第二轮的实验也得到了初步的结论：
优惠券的数量对点击率有影响，数量多点击率更高
在同视觉的展示情况下，利益点折扣的展示点击率要高于金额的展示
后续测试结论以及规划
我们在前两轮的探索中分别验证了，【弹窗展示形式】、【优惠券数量】、【优惠券利益点展示形式】
得到了较为明确的结论：
优惠券平铺样式的展示形式用户接受度吸引力更高
比起活动主题突出，利益点突出用户的点击率更高
优惠券的数量对点击率有影响，数量多点击率更高
在同视觉的展示情况下，利益点折扣的展示点击率要高于金额的展示
在接下来三四轮的实验中，我们通过同样的测试方法，得出了以下结论：
我们通过不断的细分，剖析可能影响的因素，并进行测试。得到的结论会直接影响和指导到后续我们进行设计风格、类型的选择。
四、结语
AB测试是一件长期的事，随着视觉风格不断的更新，用户对于此所带来的反馈也在不断的变化，测试结果也具有一定的时效性，所以需要后续不断的阶段性的迭代和优化，不断的监控和调整实验方案。得到适合自己的，属于自己产品、自己品牌的最优解。