亿贝智能广告投放实验评估系统建设

1.

2. 亿贝智能广告投放实验评估系统建设诸豪文 eBay软件架构师

3. 亿贝智能广告投放实验评估系统建设 • 背景 • 系统架构 • 系统建设 • • • • 指标计算工作流在线实时分析可视化运维与监控 • Q&A

4. 背景 • 智能广告投放 • • • • 搜索引擎（Google，Bing）社交平台（Facebook）直效营销（Email）自有平台（主站推广，App推送）

5. 背景 • 智能广告投放实验 • • • • 竞价策略实验商品推荐算法实验投放排序算法实验投放渠道实验

6. 智能广告投放实验平台

7. 智能广告投放实验评估系统 • 指标数量多，增长快，变化迅速 • 100+基础指标（参与度、行为、成交、算法模型指标）x 3 渠道 x 4 时间窗口 x 5 归因逻辑 • 1500+指标计算 • 评估方法灵活，可扩展 • 置信度、异常处理、分组平衡 • 在线实时多维度分析 • 广告投放系统集成

8. 系统架构 • • • Python扩展自定义可视化组件自定义导出方式 • • • 自定义数据导入存储格式优化自定义聚合函数与查询优化 • • • 原始数据预处理统一指标范式 Airflow插件增强 • • • 实验元数据电商行为数据第三方数据

9. 指标计算工作流统一行为指标计算实验元数据与追踪数据扩充

10. Airflow on Kubernetes • airflow-rest-api-plugin • Airflow core优化 • Long run pod部署

11. 在线实时分析 • 多维度分析 • 动态Capping，Lift与置信度计算 • 百亿级数据，秒级查询

12. OLAP Engine • 基于开源OLAP引擎定制 • 列式OLAP数据库 • 向量化执行 • 云原生

13. OLAP on Kubernetes • 使用Distributed Table分发请求 • Sharding by User ID • Parition by Experiment ID, Date

14. OLAP优化 – 存储

15. OLAP优化 –自定义聚集函数TopN • Capping • Option 1: Join • Option 2: Array

16. OLAP优化 – 自定义聚集函数TopN

17. 可视化 - Redash 可定制性可扩展性可重用性报表导出

18. Redash on Kubernetes

19. Redash优化 • Python语言扩展 • Python作为查询定义语言 • 预定义函数 • query()支持动态查询定义 • post_query()支持自定义结果转换 • 自定义可视化组件

20. 运维和监控 • 使用Helm Chart管理所有集群 • 使用Prometheus监控 • Prometheus exporter • Prometheus StatsD exporter • Sidecar & 自定义HTTP端口暴露Prometheus指标

21. Q & A

22.