用户分群数据化运营智能决策引擎数据开发实践
如果无法正常显示，请先停止浏览器的去广告插件。
1. 用户分群数据化运营智能决策引擎数据开发实践
云音乐 吴珍
2021-12-19
2. 个人简介
基本信息
工作经历 网易：2016.07 - 至今
项目经历 长期从事大数据开发、数仓体系建设和模型设计、数据规范、数据应用和服务、数据治
理等相关工作。网易云音乐主app的数仓体系升级项目核心成员，曾负责云音乐社区线
数仓工作，先负责诺伦产品和用户体系建设相关工作
3. 目录
CONTENT
项目背景 项目挑战
项目方案 项目成果
4. 项目背景
/01
5. 用户分群数据化运营智能决策引擎 - 目标
新客拉新
老客促活
流失召回
6. 用户分群数字化运营 - 智能决策引擎
7. 用户分群运营的智能决策引擎产品架构
8. 数仓的职责
数据仓库
数据产品
稳定快速的
策略迭代服务
诺伦平台
9. 项目挑战
/02
10. 数仓角色
改进/新增/下线策略
报表效果监控
诺伦平台
用户画像
场景
全链路效果分析数据
人群圈选
策略库
内容匹配
调整发送策略
风
控
策略
快速
迭代
匹配规则
选择文案
策略发送
全链路
数据
回流
过滤
曝光
点击
traceid
追踪
11. 面临的挑战
诺伦平台
业务多繁荣
身份
消费者
生产者
音乐人
艺人
粉丝
...
vs
快速
迭代
内容 vs 行为 vs 时间周期
歌曲
歌单
视频
播客
动态
评论
云贝
一起听
...
播放
收藏
关注
点赞
分享
评论
完善数仓
数据回流
沉淀
高品质策略
近30天
近90天
最近
历史累计
看效果
策略库
...
全链路
效果分析数据
管理策略
...
规则多复杂
标签 vs 场景明细数据
数值 vs id类
老任务重构
push_id
trace_id
12. 数仓的挑战
口径
稳定的架构
功能性
需求
数据质量
非功能性
需求
口径
行为数据与结果数据
对接标准
质量监控
服务响应速度
时效性要求
对接标准
健壮水平
资源消耗
模型设计 产出时间 数据治理
高内聚
低耦合 优化能力 运维治理
资产治理
风控过滤
数据测试
13. 项目方案
/03
14. 云音乐全链路数据中台
15. 云音乐标准化数据体系
指
导
数仓规范
指
导
任务规范
指标/表...规
范
ETL开发
规范
性能
模型设计
维表模型
事实表模型
主题模型
开发与发布
原则：高内聚低耦合强复用
•
•
•
•
•
业务相关性：行为归因将社交互动放一起
产出时间：流量和社交互动分开
回刷数据：运行方式解耦，增量和历史累计分开
粒度：轻度汇总尽可能保留多的退化维。维表属性不过多的退化到事实表中，
只在最后大宽表进行合并
计算资源和存储资源平衡：1/7/28放在一张表中，去重人数和次数一起计算。
16. 诺伦数据方案思路
需求分析
归属业务线
业务过程
数据域
无指标
有指标
不稳定
性能稳定
模型里
新增指标
设计新模型
直接引用
诺伦集市层
代码优化
模型优化
模型重构
17. 诺伦开发流程和机制
诺伦
接入标准
策略
中心
人群圈选
+
负责人x 负责人y 负责人y
歌曲 歌单 专辑
负责人a 负责人b
云贝 用户
提供服务
负责人x
负责人z
艺人/
音乐人
数据
调研
业务过程
数据域
周期快照事实表
总线
矩阵
负责人a
一起听
播客/
声音
....
汇总层 - 面向主题建模
累计快照事实表
规范
定义
负责人x
社区
明细层 - 面向业务过程建模
事务事实表
流
程
规
范
风控黑名单
内容规则匹配
提升能力
数
据
仓
库
策略迭代
模型设计
模型评审
粗粒度事实表
代码开发
开发规范
定标准：不能影响原有模型时长
数据
测试
主题事实表
质量
监控
主题汇总表
上线(评审)
调度
运维
18. 非功能性 - 数仓优化策略
①
降本
策略管理
②
任务优化
dump时间优化
可插拔
依赖时间优化
依赖优化
拔出
释
放
资
源
保留
促活
召回
拉新
内容规则
好
改成节点依赖
+
不好
运维
冒尖表优化
策略
代码优化
代码优化
依赖表
代码优化
分析效果
效果
分析报表
③
模型优化
=
大表
增加分区
+
模型解耦
19. 非功能性 - 运维机制
任务运维 -> 基线运维
挂载基线
智能预警
加速池
关键链路诊断
20. 非功能性 - 运维机制
处理/优化
上游
延迟
诺伦本
身运行
延迟
延迟报警
血缘图
失败报警
及时处理异常
处理
运维反哺流程优化
优化
集市层表
21. 项目成果
/04
22. 诺伦数据流程图
23. 诺伦时效保障 - 上午9点
数仓优化
任务运维
基线运维
24. 降本
A B C
下线效果
差的策略 生命周期
设置 小文件
治理
25. 以诺伦应用为契机，夯实数仓公共层
云贝
一起听
内容业务
2次模型重构、2次代码优化
新增2模型，模型丰富
1个新增模型，3个模型优化、多个模型丰富、10次+代码优化
用户 2个模型优化，5次+代码优化、模型丰富
社区 多个模型丰富、代码优化
社交关系
多个模型丰富、5次+代码优化
26. 触达效果
社交互动类
资产变动类
平台提醒类
内容推荐类
27. 总结
标准化数据体系 研发流程 计算优化
1.模型架构
2.数据规范 从模型设计到交付，有完整链路的
(评审)流程 1.依赖优化
2.引擎优化
3.sql 优化
基线运维 DataOps 加持
日常运维，保障生产稳定 利用CICD工具，提交交付质量和
交付效率（easytest，DQC等）
28. 数据治理
模型治理
规范治理
开发(流程)治理
组织
机制
质量治理
数据安全治理
运维治理
数据源治理
资产治理
流程
29. 未来展望
01 02 03
加强基线运维
抵挡的住集群震
荡情况 产品功能迭代 数据资产治理
优化资源
降低成本
①提升策略覆盖率和响
应度
②扩展垂类业务和创新
业务
.....
FUTURE PROSPECTS
04
提升数据服务能力
①丰富用户画像
②扩展诺伦数据架构
30.