【端DevOps】支付宝iOS版本灰度破局
原创
琬琬
蚂蚁质量AnTest
蚂蚁质量AnTest
微信号
gh_ac5eb4e2c97a
功能介绍
蚂蚁质量技术团队的技术分享以及产品介绍。
引言
TestFlight是开发者在苹果端 App 外部灰度的唯一官方途径。苹果提供的 TestFlight 测试方式,早期可以通过在「App Store Connect」后台手动或调用 API 删除测试员的方式恢复额度,也就是存在一个「无限续杯」的口子,开发者可以为 App 的 Beta 版本提供不止 10000 个测试员的额度。从 2021 年底开始,苹果调整了 TestFlight 的灰度策略,一个应用 Beta 版本最多被 10000 个名额(测试员)安装,并且删除测试员后无法立即恢复额度,导致原有的灰度策略无法达成支付宝 App 的外灰目标。一些新功能在没有灰度能力的情况下暂停推动上线,业务灰度能力直线下降,支付宝 App 外灰用户访问量下降为原来的10%。
支付宝客户端发布专项小组迅速应对,首先需要摸清 TestFlight 的现有灰度规则,在此基础上设计出多种新灰度方案,目标是提升灰度量级的同时,达到对1万个名额的最大化运营。
尝试过的方案
【方案一】publicLink方式邀请用户参与 beta 版本测试
缺点:
1、无法精准知道具体的用户(以支付宝账号为准)和 appleID 的对应关系,灰到了谁对支付宝开发者是黑盒;
2、不利于1万个名额的有效运营(邀请、实时释放、非活跃用户90天移除)。
【方案二】邀请用户主动填写 appleID,加入测试分组的方式参与 beta 版本测试
缺点:
1、操作流程繁琐,涉及多个步骤、页面、平台,理解成本高;
2、用户需要苹果发送的邀请链接才能加入测试组,主动获取邀请码的步骤,需要用户主动查看 appleId 绑定的相关邮箱,操作极容易中断,流失率非常高。
最终方案
精准运营:
1、绑定被邀请的苹果用户(测试员)和支付宝userid的对应关系;
2、
自动锁定邀请名额;
3、自动汰换长期不活跃的用户
。
程序自动根据发布任务按申请好的邮箱,申请固定数量的邀请码名额,并自动获取收件箱里苹果返回的邀请码链接,将链接与用户精准绑定。取代用户自己填写appleid,并去邮箱查看获取邀请码的过程,自动化取代了人工繁冗的操作步骤,降低了用户理解成本的同时,避免了不同app间频繁跳转。
突破策略
苹果的testflight邀请机制是按appleId的账号进行邀请的,新策略调整后,要想有效运营1w名额,首要任务是建立appleId和支付宝账号id的绑定关系,清楚知道哪写用户被邀请成功,哪些没有接受邀请,没有接受的人员名额及时释放。
主要分为以下几步:
控制名额发放量,按需申请(控制“发”):开源节流,利用苹果的公共链接邀请机制,结合自搭建邮箱服务器方案,按需使用余额,申请邀请码并获取邀请链接;
精准绑定用户(控制“用”):被邀请用户接收消息,接受并加入测试,即绑定了用户、邮箱、邀请码的关系,通过状态机的轮转,从而精准知晓灰度到了谁,谁占用了邀请名额,精准投放;
精准、自动汰换机制,突破90天限制(控制“收”):用户分为“接受邀请未安装”、“接受邀请已安装”,前者可以通过清理腾挪出名额,即:做过程中精准淘汰,定时清理“未安装用户”,让出名额给新活跃人群;针对后者:制定90天过期淘汰机制:根据活跃度,清理“僵尸用户”,不再纳入外灰通知范围;
运营策略优化,策略与体验两手抓:依托“TF自动更新”能力的延伸,通过人群打标,精准筛选“高活”用户,扩充基础人群的数量,提高升级率。后续逐步扩充1万名额为自动更新人群,可节省升级步骤3-5步,避免不同app间频繁跳转。
参与流程展示
一、收到内测邀请通知
二、通过邀请进入新版本的下载和体验流程
项目成果
1.灰度的报活数量逐版本提升,大版本的报活量总和已经达到年初的6.5倍;
2.灰度阶段发现有效问题总数比年初版本提升了10倍,已追平并超过灰度受限前;
3.用户升级体验,节省用户操作步骤:新的运营策略增加了固定圈人的方式,任务发布后,无需发送card通知、通过苹果tf自动升级的用户越来越多,甚至可以后台静默升级,大大提升了用户的外灰体验(可节省升级步骤3-5步);
4.运营可自动更新的用户人群,大大降低升级成本,减少打扰。
展望
外灰的运营机制达到一个稳定运行的状态后,解决的是灰度的「量」的问题,接下来面临的是「覆盖率」的问题,被邀请参与灰度的用户,是否覆盖了线上的绝大部份机型和系统版本?能否通过人群的改善,进一步提升灰度阶段问题的发现率?是下一步的重点方向。
如对本文有任何建议或问题,请关注我们的微信公众号,我们将私信回复 ❤️
预览时标签不可点
微信扫一扫
关注该公众号
继续滑动看下一个
轻触阅读原文
蚂蚁质量AnTest
向上滑动看下一个
知道了
微信扫一扫
使用小程序
取消
允许
取消
允许
:
,
。
视频
小程序
赞
,轻点两下取消赞
在看
,轻点两下取消在看
分享
留言