美团业务正确性校验平台 BCP的设计与实践

1. 美团业务正确性校验平台 BCP的设计与实践美团基础架构部

2. 个人简介叶明基础架构部-服务保障组 2017 年加入美团，先后参与过Squirrel分布式缓存、DTS数据传输服务、BCP业务正确性校验平台、SWAN分布式事务等中间件建设。目前，主要负责BCP和SWAN相关的研发工作

3. 目录 01 背景介绍 02 技术设计 03 最佳实践 04 未来规划 CONTENTS 目录

4. BCP产生背景-数据异常问题分布式环境下，RPC调用超时、MQ丢消息、存储组件读写失败难以避免，导致服务内部/服务之间出现数据问题一致性：异地多活场景，同步出现问题导致数据不一致时效性：系统原因用户下单后没有准时收到外卖正确性：核对账单，少了一笔费用导致对账不平衡结算单1 上海DB 北京DB 外卖下单结算单2 数据同步结算单n 账单

5. BCP产生背景-数据问题处理流程用户投诉客服处理技术人员排查 BCP实时核对发现异常自动修复事后排查，时效性差，影响口碑事中校验，实时发现数据异常

6. BCP是什么订阅事件编写规则 BCP管理平台 BCP（Business Check Platform）美团业务正确性校验平台标准化数据源接入，基于事件触发核对规则的执行，实时发现异常数据并及时订正 Binlog接入 Java规则规则执行统计 MQ接入 Aviator规则异常数据告警数据订正 Redis接入事件管理器规则管理器 BCP核对方案监控告警

7. BCP接入规模 3000+ 200亿+/天规则个数规则核对次数 400亿+/天 Binlog订阅量 50亿+/天 MQ订阅量多次帮助业务发现数据异常

8. 目录 01 背景介绍 02 技术设计 03 最佳实践 04 未来规划 CONTENTS 目录

9. BCP技术设计整体架构系统处理过程整体架构稳定性保障设计

10. BCP系统处理流程购买逻辑涉及更新订单和支付单状态，假设我们需要校验用户下单 60s 内是否完成支付且金额是否一致。我会从系统（宏观）和规则（微观）两个层面叙述系统行为。订单订阅Binlog 消息订阅服务匹配键：订单id 缓存支付订阅Binlog 消息订阅服务匹配键：订单id 延时时间规则执行服务一致？ N 告警

11. BCP规则执行流程 T1 延时时间 T3 订单表（触发消息）检验每一笔交易60s内是否完成支付 T2 ① 订单表产生Binlog，订单 ID 为匹配键支付表（目标消息） ②支付表产生Binlog，订单 ID 为匹配键 ③60s之后根据匹配键触发消息组装 BCP规则执行执行核对规则 order.id == payment.id && order.amount == payment.amount

12. BCP整体架构 BCP核心服务包括消息订阅服务和规则执行服务，基于事件驱动的方式进行实时校验。支付 trigger queue 订单 enqueue 触发消息 dequeue 订单binlog 60后触发组装 write 支付延时队列目标消息支付binlog 是否熔断缓存 read filter 推送 check 泛化调用泛化调用金融外卖组装数据不完整告警 alarm 数据错误告警自动修复到店业务服务消息订阅服务规则执行服务

13. BCP整体架构-消息订阅服务消息订阅服务主要包含：数据订阅、数据转换模块 DB 变更 Binlog Parser MQ 变更 MQ Consumer Redis 变更 Redis Aof Parser ES 变更延时触发队列 TTL 分钟小时级别触发消息数据 Redis TTL 天级别 ES Translog Parser 目标消息数据数据订阅数据转换 Tair

14. 消息订阅服务-增量订阅组件标准化的数据订阅CDC组件 DB 变更 Binlog Parser MQ 变更 MQ Consumer 新创建一个单独消费组 Redis 变更 Redis Aof Parser 实现redis 主从协议 ES 变更 ES Translog Parser 对接Binlog、MQ、Redis、ES binlog dump 调研中

15. 消息订阅服务-数据转换延时触发队列延时队列：基于触发消息时间戳生成触发消息：用来驱动规则校验的事件订单 TTL 分钟小时级别触发消息触发消息数据目标消息：被驱动事件 Redis TTL 天级别支持双向校验：订单和支付双向触发支付目标消息目标消息数据 Tair

16. 分布式延时队列-背景双流核对的场景，需要设计一个延时队列，将触发消息先投递到队列，一定延时时间以后再执行 T1 延时时间 T3 订单表（驱动） T2 支付表（被驱动） T1时刻触发核对，缺支付消息告警 T3时刻订单和支付信息匹配校验通过

17. 分布式延时队列-整体设计整体设计思路：基于Redis zset和list实现分布式延时队列 zset：存储时间戳，时间戳有序递增 list：触发消息和目标消息体、规则id、触发消息匹配键值(订单id)、拆分时间戳和消息体，避免Redis zset大Value问题 zset score 1588305600 1588305601 1588305603 1588305605 member 1588305600 1588305601 1588305603 1588305605 list2 data1 data2 data3 data2 data3 … list1 data1 …

18. 分布式延时队列-整体执行过程规则执行服务读取延时消息规则执行服务消息订阅服务存储延时消息订单根据规则延时时间计算时间戳 zadd时间戳 lpush消息体消息生成时间 +规则延时时间 Redis Lua脚本保证事务操作延时队列规则执行服务规则执行服务执行服务获取无状态设计

19. 分布式延时队列-读取过程如何保证执行服务负载均衡和不重复获取时间戳实现思路：中心时钟设计、Redis Lua脚本、Redis单线程调用zset zrange获取第一个元素规则执行服务规则执行服务规则执行服务 T1 Lua命令获取消息 T2 Lua命令获取消息 T3 score 1588305600 1588305601 1588305603 member 1588305600 1588305601 1588305603 list2 Redis Lua命令获取消息基于Redis Lua脚本获取时间戳 1. 判断zset中首元素是否大于Redis系统时间 2. 根据时间戳获取对应的member 3. 删除zset中首元素智能调速策略尽最大可能平衡执行机器负载 zset data1 list1 data1 … …

20. BCP整体架构-规则执行服务规则执行服务主要包含2个模块：数据组装、规则执行引擎延时触发队列 1.触发校验 Aviator规则引擎 Java规则引擎触发消息数据 read 目标消息数据组装 1.启动编译加载所有规则 DB 数据组装规则执行引擎

21. 规则执行服务-数据组装延时触发队列轮询从延时队列中获取待校验消息 1.触发校验触发消息数据根据消息中的匹配键获取触发和目标消息 read 根据消息中的规则id获取规则脚本交由执行引擎执行目标消息数据组装

22. 规则执行服务-执行引擎 BCP管理平台 2.修改规则脚本动态编译动态编译规则脚本：Aviator、Java 校验不一致数据实时告警 Aviator规则引擎核对不一致告警 Java规则引擎 1.启动编译加载所有规则 DB

23. 规则执行引擎-Aviator Aviator是一门高性能、轻量级寄宿于 JVM 之上的脚本语言。适用核对场景： 1. 触发消息和目标消息是否同时存在 2. 比较触发消息和目标消息的字段值的关系：是否相等，是否包含某些特定的字符串 triggerMsg.id.newValue == targetMsg.id.newValue && triggerMsg.column1.newValue == targetMsg.column2.newValue

24. 规则执行引擎-Java 适用于复杂定制化的核对逻辑 filter check alarm 泛化调用泛化调用自动修复金融外卖到店业务服务

25. Java规则执行引擎-常用中间件sdk 触发和目标消息本身不足以完成校验，某些核对规则需要RPC调用或者访问第三方存储，核对结果希望通过MQ通知下游 RPC调用金融 KV Client 到店缓存常用组件实例，提供熔断、限流等功能保护第三方服务或者/存储 DB Client 外卖 ES Client 优选 MQ Client 常用中间件sdk 业务服务/存储

26. BCP技术设计整体架构稳定性保障设计执行服务无状态、水平扩容订阅服务有状态、高性能、高可用、负载均衡设计

27. 服务高性能设计生产消费者模型，生产Binlog或者消费Binlog过慢都会导致消息出现延时，一旦超过规则延时时间就会导致规则误告。 TTL 分钟小时级别 DB 解析Binlog 生产Binlog 解析Binlog过程阻塞队列消费Binlog 将Binlog写入缓存过程写入缓存 Redis TTL 天级别 Tair

28. 生产Binlog-串行Dump性能瓶颈常规的Binlog Dump过程采用单线程拉取解析Binlog，吞吐量低伪装成Mysql slave，拉取Binlog DB Dump Binlog 网络接收 Binlog Event 基本解析解析事件类型、表名、位点信息该过程微秒级别 Binlog Event 字段深度解析解析变更前后具体字段的值该过程毫秒级别

29. 生产Binlog-局部并行化单线程拉取解析Binlog，Event字段解析慢导致瓶颈？ Event深度解析并行化处理如何保证最终有序性？耗时部分引入RingBuffer 局部并行解析 Binlog 1 DB Binlog Event基本解析网络接收 Binlog 2 网络接收 Binlog n 网络接收根据表名过滤 Binlog Event基本解析 Binlog Event基本解析 Binlog Event字段解析根据表名过滤 Binlog Event字段解析根据表名过滤网络接收和基本解析串行提交到RingBuffer 提前过滤不需要的表避免浪费cpu Binlog Event字段解析阻塞队列

30. 服务高性能设计-消费Binlog 消费Binlog过程主要是从阻塞队列中获取将解析好的Binlog及时写入Redis缓存优化点：基于业务主键hash多线程处理、非阻塞方式批量提交 Binlog queue1 Binlog队列订单id hash取模线程1处理每间隔一段时间批量写入 TTL 分钟小时级别 Redis TTL 天级别 Binlog queue2 线程2处理 Tair

31. 服务高性能设计-减少网络IO次数基于Redis HashTag（类似Kafka Partition） Redis key： {订单id}+key_suffix，Redis保证相同id的订单写入同一Redis节点订单支付订阅Binlog 订阅Binlog 消息订阅服务消息订阅服务分片1 Redis master1 Redis slave1 分片2 Redis master2 Redis slave2 匹配键：订单id 规则执行服务只需从分片2获取订单和支付消息匹配键：订单id 分片3 Redis master3 Redis slave3

32. 服务高可用设计-订阅服务宕机问题订阅支付库的订阅机器宕机，无法拉取Binlog写入缓存，造成组装模块组装失败，最终由于缺失支付Binlog导致告警延时消息订单订阅Binlog 消息订阅服务延时队列匹配键：订单id 订单Binlog 60后触发组装订单Binlog 支付订阅Binlog 消息订阅服务支付Binlog 匹配键：订单id 组装缓存支付Binlog 执行规则数据不完整告警

33. 消息订阅服务高可用设计-宕机切换高可用设计思路：主从架构的方案保证消息处理的不重、不漏、低延时从订阅机器主订阅机器主从切换 DB 主订阅机器缓存 DB 从订阅机器异步上传Gtid消费位点和心跳信息 Ha服务发现主宕机，同步消费位点给从机器 Ha服务 Ha服务主定时上报消费的位点信息，切换时候从拉取主消费的位点信息开始订阅，保证不漏主从之前基于zk选主，同时订阅Binlog基于Gtid位点订阅，保证切换低延时跟MQ类似，发生位点信息交互时很难保证主宕机前把所有位点上报完成，因此从消费时会重复消费一部分Binlog，如何保证不重？缓存

34. 消息订阅服务消费过程幂等设计基于Redis Lua脚本实现CAS操作，保证永远只会写入Gtid较大的Binlog： Redis Key：订单Id Redis Value：40位Gtid+toByte(Binlog本身) N 从Redis中获取订单Id Value前40位写入Value 是否存在 Y Y 待写入 Gtid是否大于前40 位 N 写入Value 忽略该条Binlog

35. 消息订阅服务负载动态均衡设计如何解决DB流量突增导致的机器负载飙高，避免单机性能瓶颈问题

36. 目录 01 背景介绍 02 技术设计 03 最佳实践 04 未来规划 CONTENTS 目录

37. 最佳实践-数据一致性校验触发消息和目标消息订阅不同的表，使用Aviator表达式判断字段值是否一致

38. 最佳实践-数据时效性校验触发和目标消息订阅相同的表，校验zcm_acquirer_register表的任务任务状态500s后是否能从1变成7或者10

39. 最佳实践-数据自动订正覆写BCP的alarm方法，收到告警后调用业务提供数据二次复核接口，确认数据有误进行自动订正

40. 目录 01 背景介绍 02 技术设计 03 最佳实践 04 未来规划 CONTENTS 目录

41. 未来规划新的CDC 数据源接入离线核对支持 ES增量变更接入 Blade(Tidb)增量变更接入支持文件核对 T+D，T+H核对

42. 基础架构 - Java技术专家/资深工程师岗位职责 1. 负责美团分布式配置系统、稳定性保障组件、混沌工程、应用容器、业务正确性校验、分布式事务等中间件产品设计与研发工作，不断提升服务稳定性和完善系统功能，满足业务多样化的应用场景。 2. 参与混沌工程领域和稳定性保障能力前沿技术的调研选型，并在项目中落地与推广。 3. 负责设计开发高效的自动化运维平台，提升运维效率；应对突发场景，能够快速发现问题、定位问题和解决问题。招聘：基础架构 - Java技术专家/资深工程师邮箱：yeming@meituan.com 更多技术干货欢迎关注“美团技术团队”

43.