vivo营销自动化技术解密｜开篇

作者：vivo互联网服务器团队-Liao Yi

1.1. 什么是营销自动化

营销自动化是指专门为营销部门或组织设计的软件平台和技术，可以更有效地在线进行多渠道营销并使重复性任务自动化。营销部门和销售人员通过制定任务和流程的操作标准，然后由IT系统进行解释、存储和执行，从而提高效率并减少人为错误。

营销自动化平台的用途是通过用自动化解决方案取代高接触、重复的手动流程来简化销售和营销组织。

营销自动化平台是营销人员用来规划、协调、管理和衡量所有在线和离线营销活动的仪表板。它通常与用户生命周期营销策略一起使用，以密切管理和培育生成的潜在客户，旨在将潜在客户转化为客户。

营销自动化是客户关系管理（CRM）的一个子集，专注于营销活动的定义、细分、调度和跟踪。营销自动化的使用使原本需要手动执行的流程更加高效，并使新流程成为可能。

营销自动化可以定义为一个流程，其中使用技术来自动化营销活动中定期执行的多项重复性任务。允许个人设计、执行和自动化有时限的营销工作流程的工具可以称为营销自动化平台。

营销自动化平台允许营销人员通过单一工具管理复杂的全渠道营销策略来自动化和简化客户沟通。营销自动化在潜客生成、细分、潜在客户培养和潜在客户评分、关系营销、交叉销售和追加销售、保留、营销投资回报率测量等领域提供了极大的帮助。有效的营销自动化工具利用来自单独或集成 CRM 的数据来了解客户的影响和偏好。

1.2. 为什么要开发营销自动化平台

1.2.1 业务问题与痛点 

1.2.2 营销自动化平台的优势

1.3. 营销自动化平台建设有哪些挑战

1）多部门协同，打破数据孤岛。

建设海量大数据营销数据仓库，提供强大的大数据OLAP技术，满足大规模数据处理需求。

2）提供丰富的营销策略方案库，支撑多变的营销场景，提升触达投放转化率，达成精细化运营和智慧营销最终目标。

需要开发灵活的规则引擎，实现智能分群，智能方案设计、智能匹配和自动化投放能力。

3）99.99%以上的高可用性要求。

作为数据和业务的连接中台，技术架构上必须保证系统的高可用性支撑目标。

下面整体介绍一下vivo营销自动化平台的整体业务和技术架构。

vivo营销自动化平台主要分为四大业务模块：

2.1. 人群管理模块

人群管理模块主要作用为营销自动化系统提供目标受众，完成精细化分群。分群方式三种：手动分群、规则分群和智能分群。

对于B端的营销自动化系统，人群管理模块还包括线索管理功能。这里的线索，是潜在用户。线索管理功能同时提供线索评分分级，以更有效完成营销转化。

人群管理模块技术挑战点有：

• 提供实时人群圈选的海量大数据OLAP技术；

• 提供超大规模数据处理技术。
  

人群管理模块主要功能有：线索管理、身份管理、潜客管理、人群管理、人群圈选、人群抽样、人群扩量、人群定向和客流洞察功能。

2.2. 营销策略模块

营销策略模块主要作用为营销自动化系统提供策略方案库。这个策略库指针对用户建立的营销策略和投放流程。如针对购机一周，属于新购机用户推送玩机技巧；针对用户进入订单页面，1天未付款结算给用户推送优惠券信息，帮助最后转化；七天内消费3次，赠送5折优惠券。

营销方案是营销自动化系统的经验沉淀，是核心资产之一，可以规范指导营销行为，建立营销SOP。营销策略模块的核心功能是方案库管理与方案匹配。方案主要分为静态方案和动态方案。在营销自动化系统建设初期，为了验证产品形态与价值，会采用静态方案。当系统逐渐完善时，会逐渐提供动态方案能力，最终静态方案与动态方案会在系统中并存，互相兼容。匹配方案是指就是为用户匹配最佳的营销策略。当用户能匹配到多个方案时，系统需要根据用户体验、成本等因素，筛选出最优的方案。

营销策略模块还包含素材管理功能，对文本、图片、视频、小程序、h5页面和app内容素材进行统一管理。

营销策略模块技术挑战点有：强大的规则引擎，灵活的工作流引擎和系统建模。

营销策略模块主要功能有：方案管理、方案设计、活动管理，内容管理和用户旅程设计功能。

2.3. 触达投放模块

触达投放模块主要作用整合vivo的触达渠道，打通触达全链路，提供一站式触达平台，并提供效果数据回收功能。

渠道管理功能主要提供各个触点接入配置，内容模板配置。通过渠道整合功能，在整体触达最优的机制，选择合适的渠道和替补策略。营销自动化系统还需要考虑营销活动对用户的打扰，避免负向口碑，所以需要提供防骚扰功能，主要通过频控设置、黑白单来实现。

触达投放模块技术挑战点有：实时投放执行引擎，高性能高可用的投放要求。

触达投放模块主要功能有：渠道管理、渠道整合、效果数据评估和用户防骚扰功能。

2.4. 度量中心模块

度量中心模块主要作用为营销活动效果提供运营指标报表，评估运营效果。对投放过程数据与转化结果数据进行记录，通过科学设置的测量指标进行分析统计，评估营销活动投入产出比是否预期，判断运营效果核心指标是否达到目标，帮助使用者了解目标达成情况，发现营销活动整个链路中存在问题，优化下一次营销方案。度量中心模块的核心指标有用户激活、留存、流失、触达、到店和复购。

3.1 系统架构

【网关层】Nginx负载均衡；

【服务层】主要部署的应用服务模块为人群圈选服务、活动配置服务，方案执行服务、投放服务、度量服务。

• 人群圈选：提供人群创建、人群管理、人群计算、人群定向功能；

• 活动配置：负责对接运营后台的管理配置业务，提供基础的配置能力和信息接口；

• 方案执行：负责活动真正的执行过程，包括活动触发和数据处理；
  

• 投放服务：抽象触达能力，统一向业务提供触达外部渠道的功能；
  

• 度量服务：提供运营度量指标报表可视化能力；
  

这五大块服务可以独立拆分，考虑到系统的复杂度，前期可通过模块化的方式进行界定。

【计算层】主要包括基础数据服务、自动化方案执行和渠道触达服务

• 数据服务：提供数据洞察、人群计算、智能分群和人群定向功能。

• 营销自动化引擎：获取活动配置信息，根据营销方案，做指标计算、人群匹配和规则匹配，最终输出结果，进行分发投放。

• 渠道触达服务：全渠道触点的聚合服务层，对接包括短信、push、微信等外部触点服务的发送、数据回收接口。处理流程：准备投放物料、用户寻址、进行防骚扰频控，最终触达用户。 

【存储层】

• 主要是利用MySQL来进行业务数据的存储，同时利用Redis作为缓存服务，ES作为数据查询的工具。

• 另外一个关键的大数据应用是Presto查询引擎，作为海量数据分析查询的引擎（由于篇幅的原因，Presto引擎的场景应用实践会在后续的文章进行深入分析）。

【公共组件】   

• 监控系统：进行系统级监控和业务指标监控。

• 规则引擎：规则引擎是进行复杂活动事件规则处理的关键组件，利用它强大的配置扩展能力支持多种多样的活动规则（规则引擎的应用实践同样也会在后续的文章进行深入分析）。

3.2. 系统设计

3.2.1 营销策略引擎设计

通过工作流引擎组件自定义搭建各个营销业务流程节点，支持高扩展性的活动业务，核心流程包括：运营活动的创建（配置触发时机、活动用户、内容配置）、运营活动的审批、运营活动的执行。

另外对于业务流程内部具体的活动配置、活动审批和活动执行节点逻辑实现，利用设计模式和设计原则进行组件化，抽象化的处理，达到更高扩展性的目标。

3.2.2 营销全渠道触点整合管理 

通过配置不同的推送策略来进行多维度的组合投放，可以在同一个活动中配置互相补充的渠道来提升触达用户的覆盖度。比如对某批活动用户，先使用更深入业务的渠道（举例：微信渠道）进行活动投放，没有关联微信账号或者由于其他原因导致微信触达失败的用户，使用覆盖度更高的渠道（如：短信，每个用户都以手机号作为账号）进行补充触达，提升整体的触达率。

多渠道数据需要进行统一打通来进行活动整体的效果分析，以及触达频控防骚扰。另外关键的一点是需要提升单渠道的触达性能（目前全渠道日投放用户可达数千万），同时做好不同渠道之间的资源管控和隔离。

3.2.3 实时营销场景触达

通过业务实时事件流处理，进行不同活动的规则匹配，达成实时触达效果。

业务数据和日志数据的接入整合作为基础，对触发数据进行补全->数据指标进行计算->规则匹配→结果输出。

以【用户下单10分钟发送短信提醒】举例：

1.业务系统通过RabbitMQ将订单数据发送到营销自动化平台。

2.营销自动化平台利用已存储的用户信息和订单事件配置，进行用户数据（姓氏、手机号）补全。

3.再通过规则引擎对【下单10分钟】这个事件进行规则匹配。

4.匹配通过之后将结果数据按照统一的格式转发到触达系统，进行短信发送。

3.3. 高可用建设

 1）监控&告警体系

包括系统级监控和业务指标监控。借助基础设施的能力，进行主机、DB、容器和域名等系统层级的监控告警；同时对业务的运行状态，关键指标，设立数据看板进行实时监测。

2）平滑发布

保证应用平滑升级发布，不影响任务和触达的数据完整性。微服务、DevOps和云原生的兴起，强调软件是随时随地可以交付的。在发布的过程就需要重视对系统的影响，尽可能做到无损发布，比如正在发布的时候，刚好同时在进行短信投放，此时必须保证发布过程不影响短信投放的数据完整性，可以通过应用重启的钩子函数进行端口重启的业务处理，也可以通过保存业务数据状态进行重试。

3）限流

对过载的流量进行限制，防止影响正常业务。营销系统运行过程中难免会遇到营销热点时节，但大流量活动被动触发或者主动对大盘用户投放活动时，需要评估系统的承受能力，在承受能力之下设定可调节的阈值进行限流管控。

4）补偿重试和数据幂等性

作为营销平台，涉及的系统业务非常多，核心数据投放接口都有失败重试机制，与之对应地必须保证数据幂等性。比如某个活动只允许给同一个用户推送一次任务，此时可以根据活动id+用户id作为业务唯一主键来进行幂等防重校验。

营销自动化系统目前已在vivo营销领域和全国范围代理公司得到广泛使用，主要应用在用户生命周期运营、新品上市营销、重大节点、会员日等精细化营销活动场景，业务方普遍反馈对营销工作帮助较大，节省了大量的人力成本，提升了营销效率，提供了很明显的价值。

本篇是《营销自动化技术解密》系列专题文章的开篇，对营销自动化业务和技术进行了整体的介绍。当然这仅仅是一个开始，营销自动化技术在使用和场景落地过程中还有非常多实践的经验总结和大家一起分享，后续我们将继续带来以下《营销自动化技术解密》的系列专题文章：

1.《营销自动化技术解密｜引擎篇 - 设计模式及应用实践 》

2.《营销自动化技术解密｜引擎篇 - 状态机应用实践》

3.《营销自动化技术解密｜引擎篇 - 工作流引擎应用实践 》

4.《营销自动化技术解密｜引擎篇 - 实时事件引擎应用实践》

5.《营销自动化技术解密｜引擎篇 - 规则引擎应用实践》

6.《营销自动化技术解密｜通道篇》

7.《营销自动化技术解密｜数据篇》

......

每一篇文章都会对里面的技术实践进行详尽解析，敬请期待。