CDP服务可用性保障

1. CDP 服务可用性保障贺阳 | 机票目的地事业群 /技术中心/技术运营中心

2. 离线

3. 目录 CONTENTS A CDP简介 B 面临的问题 C 可用性问题分而治之 D 未来计划

4. 01 CDP 简介

5. 数据平台整体架构酒店报价酒店营销会员权益代理商数据平台机票辅营信息流推荐 API CDP 业务应用数据应用 BI 数据标准数据开发数据仓库数据治理离线数仓数据质量实时数仓数据同步调度系统基础平台数据资产 Hive Trino Flink 开发平台数据安全 Hadoop Hbase Kafka 埋点系统

6. CDP简介标签系统用户分群营销推送融合多方数据，通过对人货场的画像，对人货场进行应用场景打标，摆脱数据孤岛，助推业务分析与运营精准快捷地圈出人群包，满足多样化的分析与运营需求联动营销平台，将任务推送给目标群体，实现精细化运营

7. CDP简介标签系统用户分群离线标签实时标签 Id- mapping 标签地图组合标签人群圈选对外服务人群洞察营销推送 push推送小程序推送短信推送公众号推送效果分析

8. 什么是标签黄牛用户老人优享会酒店浏览未下单航班飞行时间 VIP用户学生酒店新客下单目的地航班恶意订单率黑名单用户儿童城市等级

9. 标签用在哪活动促销主流程hsdbo 场景广告推送恶意订单拦截

10. 标签现状 70+ 重要服务接入 20W 高QPS 5ms 高响应P99 99.9998% 业务视角成功率 70+重要的业务服务接入直接影响线上产品的决策最高达20w qps 的请求量无负载压力无异常增长快速返回业务结果为业务节省更多的决策时间月平均业务视角成功率高达99.9998% 为业务决策提供保障

11. 02 面临的问题

12. 面临的问题机票业务反馈，标签服务影响90%的机票业务酒店业务反馈，1%的接口异常影响酒店0.5%的订单 • 接入重要系统70+，包括 • 机票：首页、搜索、报价计算、booking、核心交易、航线推荐 • 酒店：报价计算、优享会、酒店打标、促销平台 • 呼叫中心 • 响应p99达80+ms • 业务超时异常量高（机票、酒店）

13. 03 可用性问题分而治之

14. 六西格玛 1 定义 SLA协议 2 测量监控 3 4 5 分析改进控制日志+监控改进策略压测自动发现

15. 定义+测量 Dubbo接口 Http接口权限校验其它渠道标签查询查缓存 Hbase 查询 hbase 存缓存赋默认值返回结果 Dubbo接口 Dubbo接口

16. 定义+测量监控设计大盘监控阶段处理过程细化appcode 响应时间响应时间整体监控细化处理过程 QPS QPS 响应时间响应时间异常情况异常情况 QPS QPS 异常情况异常情况

17. 定义+测量

18. 分析+改进日志分析监控分析

19. 问题分析流量分析缓存分析存储分析长尾分析

20. 问题分析流量分析缓存分析存储分析长尾分析

21. 流量分析 Dubbo接口 Http接口权限校验其它渠道标签查询查缓存 Hbase 查询 hbase 存缓存赋默认值返回结果 Dubbo接口 Dubbo接口

22. 流量分析 QPS 响应时间 6000 1ms 5000 2ms 3000 40ms 查询hbase的QPS越少，响应越快，失败请求越少

23. 问题分析流量分析缓存分析存储分析长尾分析

24. 缓存分析如何分析缓存？请求参数缓存数据

25. 缓存分析 6000 全天每小时每分钟 85%+ 80%+ 60% 40%-50%命中率？ 5000 3000

26. 缓存分析 key value key HashMap<tagCode,value> Key没有命中的情况下，30min缓存不会存储

27. 缓存分析 key value request response key HashMap<tagCode,value> key HashMap<tagCode,value>

28. 缓存分析效果：接口P99降低10ms dubbo接口的P99降到了30ms下结果缓存命中了60%的请求

29. 缓存分析 6000 入口 6000 结果缓存 2000 30min缓存 1700 hbase 130 0 击穿查询hbase击穿率76%！！

30. 缓存分析接口结果缓存特殊值缓存 30min缓存否是查询hbase 是否查询到 value 否

31. 缓存分析效果：请求hbase的qps与前一日比较由1700降低了600qps左右，接口P99较上策略前降低7ms

32. 问题分析流量分析缓存分析存储分析长尾分析

33. 存储分析现象： Hbase响应慢 Hbase内存占用持续增长，超过1T 解决：定时任务合并清理hbase数据 userA:{"vip会员":true""} userB:{"vip会员":true""} version=1 version=1 userA:{"vip会员":true""} version=2,keytype=Delete

34. 存储分析结论：第一次清理后接口P99与前一日同时刻对比降低了17ms，恢复了30ms内。Hbase表清理200G+

35. 存储分析 • Hbase日常运维会导致接口不稳定，业务无法接受 • 响应时间无法满足主流程需求 P99 30ms内 • 数据量大：近20亿标签key，hbase占用近1T存储分析原因： hbase大部分数据存储在内存中

36. 存储分析方案双hbase Redis 优点对当前架构改动最小，最方便实现需自行维护主从表切换 1. 2. 占用内存资源响应最快 Redis内有主从保证稳定性 Mysql分库分表 DBA对mysql支持较好 rocksDB（携程） Tair(阿里) TiDB 缺点 1. 2. 支持Kv存储，符合标签系统使用场景内存+SSD相结合，节省资源 1. 2. 3. 扩缩容复杂，有丢数据风险不支持kv存储对系统改造过大，相当于整体重构建 1. 2. 公司目前没有相关组件从调研到正式投入生产周期较长

37. 存储分析预估所需空间 • 没有足够大的redis来存储真实标签数据预估占比 1：10 Hive容量预估redis 200G 2T • 标签风格迥异，无法真实测算redis 解决： • Key缩减长度 • 在redis存入200G数据的情况下降低存储20% 预估占比 1：8.6 Hive容量预估redis 200G 1.6T

38. 存储分析接口请求调度发起查询结果缓存 HIVE 标签构建是否新方案结果缓存线程池并发写入线上库全量存储 redis HBASE 结束查询30min缓存是查询redis 生成hive表否否 Key是否查询hbase 是查询hbase 查询hbase 部分流量查询 hbase 校验一致性返回结果校验一致性

39. 存储分析 hive T-1 hbase 实时 redis

40. 存储分析

41. 存储分析

42. 问题分析流量分析缓存分析存储分析长尾分析

43. 长尾分析业务侧监控 0.77%

44. 长尾分析阿里开源工具：Arthas

45. 长尾排查长尾耗时较长大部分在查询redis

46. 长尾排查针对这种问题系统内部是否可以有预防机制呢？请求redis抖动消除为防止单次请求失败只要有1个缓存结果返回即返回

47. 长尾排查

48. 其它保护措施

49. 其它保护措施服务限流+日常压测：

50. 其它保护措施推进调用方增加重试 case: A服务设置接口超时时间200ms，请求服务的响应时间P99为10ms内

51. 04 未来计划

52. 现状 QPS 响应时间P99 最高20w 平均5ms 调用方业务视角成功率最多79个 99.9998%

53. 未来计划稳定性是一场持久战！随着业务发展不断的进行技术的改进和提升才能持续的保证高稳定高可用

54. Q&A

55. 分享完毕，谢谢观看！