CDP在精细化运营中的建设实践
如果无法正常显示,请先停止浏览器的去广告插件。
1. CDP在精细化运营中
的建设实践
张杰 | 技术运营中心-数据平台
2. 2015
3. CDP成果
2021年度金项奖
亿级别收益
2022 CSDI SUMMIT InfoQ QCon+
主题分享 出品专题课
4. 目 录
CONTENTS
A CDP业务背景
B CDP建设实践
C CDP总结与应用
D CDP未来展望
5. 01
CDP业务背景
6. 去哪儿旅行业务
机票 火车票 汽车票 船票
酒店 民宿 门票 度假
攻略 商城 金融
Qunar成立于2005年,
是中国领先的在线旅游平台之一,累计用户近6亿
租车
7. 行业背景
拉新
流量红利消失
转化
全球疫情影响
业务增长
存量运营
8. 运营活动举例
召回
对流失用户,发送优惠券过期提
醒信息,唤醒沉睡用户
转化
识别亲子类用户,置顶推荐亲
子类酒店、房型,促进转化
9. 业务运营痛点
需求研发
运营前期
数据分析
策略制定
运营后期
提需求 上线
排期 开发
➢ 业务数据孤立,分析难度大 ➢ 涉及团队多、系统多,开发成本高
➢ 标签准确度、质量不高,影响ROI ➢ 烟囱式开发,服务可用性保障难
➢ 标签复用性低,无高价值标签沉淀
效果分析
运营迭代
➢ 周期长、迭代慢,运营效率低
10. 运营过程抽象
01
构建画像标签
02
圈选人群包
03
配置运营策略
04
分析运营效果
客户数据平台
CDP
客户数据平台CDP(Customer Data Platform):是一站式的精细化运营平台,
通过对数据充分挖掘,将高价值数据反哺到业务,精准触达用户,实现业务增长,达到为业务赋能的目的
11. CDP初印象
注:参考Garnter从2016年至2022年发布的Hyper Cycle for Digital Markting绘制
对比维度 CRM DMP CDP
名称 Customer
Relationship
Management Data
Management
Platform Customer
Data
Platform
年代 1990年代 2010年代 2016+
使用角色 销售部门 营销部门 运营、市场、
产品、销售、
用研等
数据来源 私域 公域 私域
数据类型 实名 匿名 实名
应用 销售客户管理 广告投放 运营活动
12. CDP业务逻辑
打开列表页
去哪儿旅行 APP
用户使用APP
When(时机)
驱动业务增长
下单后
每天定时
某个城市
Where(地点)
某个商圈
高星酒店
How(方式)
数据收集
资产业务化
What(内容)
方法论
弹窗
发券/Push/短信
反哺业务
业务数据化
报价展示
满减券
服务包
消息文案
Who(用户)
数据资产化
学生用户
商旅用户
新客
用户数据
数据加工
CDP
4W1H:在合适的时间、合适的地点,以合适
的方式,把一个合适的内容触达给合适的用户
13. CDP在去哪儿旅行的应用
1500+ 15+ 30+
标签数量 覆盖业务线数量 应用业务场景数量
100+
运营活动每月次数
5
倍
运营ROI相对提升
3
倍
运营效率相对提升
14. 02
CDP建设实践
15. CDP建设思路
1.建设闭环系统,实现运营全流程全自助
酒店
机票
火车票
门票
租车
2.基于全业务数据,对用户和商品进行打标签
数据平台
3.提供稳定高可用服务,支撑全业务实时调用
16. 数据平台整体架构
酒店报价 酒店营销 会员权益
代理商数据平台 机票辅营 信息流推荐
API CDP
业务应用
数据应用
BI
数据标准
数据开发
数据仓库
数据治理
离线数仓
数据质量
实时数仓
数据同步
调度系统
基础平台
数据资产 Hive Trino Flink 开发平台
数据安全 Hadoop Hbase Kafka 埋点系统
17. CDP功能架构
数据源 数据处理
APP 数据统一
运营全流程全自助
标签生产
标签构建
规则标签
小程序
携程集团
第二方
数据
管理
个体画像
群体画像
效果分析
业务应用
标签地图
用户分析
触达分析
推荐
AB评估
业务报表
定价
模型标签
用户行为
实时标签
导出
用户触达
促销
标签服务
商品标签
API
营销
微信 站内信 PUSH
短信 优惠券 弹窗
算法模型
组合标签
第三方
数据
手工上传
数据分析
用户分群
IDMapping
调度
标签质检 人群圈选
标签洞察 人群预估
元数据
血缘
营销策略
人群洞察
质量
触达方式 营销文案 商品选择
AB对照 资源位 推送时机
权限
生命周期管理
18. CDP技术架构
监控
质量
业务应用
用户触达
客户视角
监控
调用日志
长尾分析
管理
限流 血缘
效果分析
促销
全链路
监控
服务
营销
构建事务
营销策略
构建质检
返回值
分布监控
一致性
监控
人群圈选
标签服务
策略配置
ClickHouse
标签构建 离线标签
数据处理 IDMapping
数据源 App
Hive
Dubbo HTTP
Hbase Redis
实时标签
标准化数据
小程序
权限
携程
FlinkSQL
模型计算
手工上传
元数据
资源隔离
容器化
调度
压测
故障演练
生命周期
19. CDP核心模块
提供稳定可靠的在
线服务 快速圈选人群并预
估和洞察分析
2.标签服务 4.人群圈选
1.标签体系 3.实时标签
构建业务需要的体
系化标签 提升标签数据及时
性,满足实时业务
场景
20. CDP-标签体系
构建原则:
1.由实际业务需要梳理
2.标签对象:用户、商品(酒店、航班、火车等)
梳理标签分类
遵循MECE原则:尽可能相互独立,完全穷尽
21. CDP-标签体系
标签类型 用户(人) 商品(货)
标签对象 用户 酒店
一级类目 基础属性 行为属性 偏好属性 用户价值 用户生命周期 二级类目 设备信息 搜索行为 消费偏好 RFM价值模型 生命周期模型 身份特征 活跃行为 出行偏好 风险属性 订单行为 火车票偏好 激活行为 服务偏好
平台偏好
基础信息
航班
产量
产品力
火车
22. CDP-标签服务
可用性目标SLA
保障措施
可用性:99.99%
1.技术架构保障
➢ 调用方
QPS:百万级
➢ 服务方
➢ 数据存储
➢ 标签生产
响应P99:10ms
2. 部署环境保障
➢ 容器化部署
成功率:99.99%
➢ 隔离部署
23. 可用性保障措施
CDP-标签服务
调用方
服务方
存储
熔断、重试
Consumer
是否重
复请求 根据key进行
Hash查询Redis
双读
双写 Redis
故障
请求
Redis
标签构建
标签生产
调度触发
请求
Redis
Redis1
抽样校验
一致性
限流
返回值监控
故障降级
RedisN
标签表
Hive 双写
质检 查询Diff出增删改
HBase
多级缓存
版本切换
构建质检
构建事务
调度依赖
24. CDP-标签服务
酒店
机票
资源隔离
默认
机票S级 机票A级 酒店S级 酒店A级 默认B级
Provider Provider Provider Provider Provider
Redis Redis Redis Redis Redis
Pod3 Pod4
Pod1
Pod2
容器化
Pod5
机房B
机房C
➢ 按重要级别隔离
➢ 服务和存储均独立隔离
➢ HPA容器自动水平扩缩容
➢ 容器失败驱逐
K8S
机房A
➢ 按业务隔离
机房D
机房E
➢ 跨机房部署
25. CDP-实时标签
标签痛点:
1.离线标签实时性不够,例如针对酒店未首单用户,优惠策略无法及时触达
2.实时数据处理传统的Flink API方式,开发成本高,无法运营自助
实时标签挑战:
1.同一个标签的实时与离线数据如何融合
2.构建实时标签如何降低门槛
26. CDP-实时标签
实时数据源
实时数据流
实时标签构建
FlinkSQL化降低构建门槛
UDF
后端日志
实时规则触发
QMQ
活动系统
Kafka
FlinkSQL
前端埋点
业务系统
业务库
Binlog
QMQ
维表
Redis
标签服务
Redis
离线标签构建
离线数仓
标签表
Hive
C端用户
标签服务API
Lambda架构
实现离线实时数据融合
27. CDP-人群圈选
拖拽
➢ 支持全业务用户行为和已有标签作为圈选对象
➢ 支持拖拽式交互操作,进行与或非圈选人群
28. CDP-人群圈选
圈选后对人群包进行数据量预估和洞察分析
技术挑战:
基于亿级别数据量,组合复杂的与或非条件查询,做精确去重,要求及时返回结果
技术方案:
采用ClickHouse的Bitmap,契合与或非逻辑查询,并且能够节省存储空间
结果:
查询时长平均 2 秒
29. CDP-人群圈选
行为表
Hive
ClickHouse
搜索
分布式表
详情
分布式表
标签表
下单
IDMapping表
基本属性
关系属性
Double类
型表 String类型表
分布式表 分布式表
物化
分布式表
偏好属性
Float64
Bitmap表
物化
Bitmap表
人群圈选
预估
ClickhouseSQL
用户标签
条件组合
人群包
HiveSQL
用户行为
30. 03
CDP总结与应用
31. CDP总结-运营闭环
效果分析
数据回收、AB效果报告
用户触达
01
06
短信、微信、PUSH、
标签生产
02
CDP
弹窗、优惠券、站内信
05
标签构建、标签质检、标签洞察
标签服务
03
在线服务、可用性保障
营销策略
营销文案、推送时机、AB对照
04
用户分群
人群圈选、人群预估、人群洞察
32. CDP总结-价值
1.赋能业务
灵活的标签定义,支持多变的业务诉求,覆盖业务线15+,业
赋能业务
务场景30+;高价值标签沉淀,复用性高,ROI相对提升5倍
2.降本增效
一站式运营平台,全流程全自助,极大降低开发成本,运营
降本增效
效率相对提升3倍
3.技术能力
技术能力
标签服务可用性99.99%,QPS 20万, 查询响应时长P99 5ms,
查询成功率99.99%;人群包预估/分析查询 2秒
4.价值成果
价值成果
获得去哪儿旅行2021年度金项奖
33. CDP应用-用户(人)运营
1.召回 4.营收
圈选流失用户,发短信、PUSH 增值服务
2.促活 5.降损
将中秋促销活动触达给潜在用户
3.转化
亲子用户,推荐亲子酒店/房型
黑产用户识别与过滤
6.用研
用户体验改版前,圈选用户调研
34. CDP应用-商品(货)运营
标签展示 特定类型酒店活动 特定区域酒店促销
低价机票,展示标签 五一劳动节,豪华酒店优
惠活动 考公打印准考证期间,
考场附近酒店降价促销
35. 04
CDP未来展望
36. CDP展望
丰富模型类标签 覆盖更多场景 平台智能化
基于算法能力输出 与BI平台的联动, 智能选最优的触达
高价值数据,赋能 进行分析和决策, 策略,既能使ROI
业务 或反向构建标签、 最高,又能不对用
圈选人群 户骚扰
37. Q&A
38. 分享完毕,谢谢观看!