银联C端用户多活架构

1.

2.

3. 姓名：廉烨公司：职位：架构师邮箱：lianye@unionpay.com 简介：2016年硕士毕业于北京大学软件与微电子学院，同年加入中国银联，担任后台架构师，主要专注于云闪付用户增值业务后台系统的架构设计与优化、亿级用户管理体系设计，以及金融支付行业C端风控

4. 目录 1 背景 2 常见模式 3 方案

5. 一、背景 --业务现状银联C端业务快速增长亿级用户 2017年 2018年 2019年注册用户数 2020年绑卡数至今海量数据

6. 一、背景 --业务架构端业务后台用户信息中心支付转账用户基础信息服务权益商城公缴用户扩展信息服务注册登陆 session 个性化信息查询修改注销标签画像收货人信息头像关联信息理财卡类服务绑卡实体卡信贷营销核验类服务卡列表卡详情身份认证人脸认证云卡虚拟卡短信验证银行要素认证

7. 一、背景 --系统架构 http socket 管理层监控内部协议 web 网关层协议转换路由转发鉴权认证离线层限流熔断灰度分流整合服务层配置业务服务批量管理服务参数服务推送管理数据层运营分析数据库缓存 MQ 对象存储

8. 一、背景 --数据密集用户c123（示例）账号基本信息 u12345678 联系人张三手机号 13011122222 联系手机号 15044466666 邮箱 abc@163.com 联系地址北京市丰台区... 名称 David 联系邮箱 111@126.com 登陆密码 ****** 欢迎语 welcome !!! 账户状态正常学历本科注册时间 2019-01-15 14:25:01 爱好钓鱼证件类型身份证头像 ... 证件号 210404****0032 关联商户 / ... ... ... ... 扩展信息绑卡信息绑卡信息卡号 6214****0020 绑卡来源云闪付卡类型信用卡卡等级钻石卡银行预留手机号 13011122222 ... ... 卡号 6228****7109 绑卡来源华为钱包卡类型借记卡卡等级普通卡银行预留手机号 13011122222 ... ... 其他信息性别男年龄 35 常驻地北京、济南消费偏好汽车、家装、母婴活跃指数 85 生命周期完成绑卡和支付流失指数 17 活动参与度 68 社会属性已工作 ... ...

9. 一、背景 --请求分布修改类请求查询类请求 by 其他维度 by 卡信息 by 凭证信息 by 关联信息 by 卡信息 by 身份信息 by 身份信息 by 账号 by 账号 0 20 40 60 修改类请求携带的维度信息 80 100 0 查询类修改类 20 40 查询类请求携带的维度信息 60 80

10. 一、背景 --多活目标 C端用户对延迟较为敏中心级高可用架构，部分业务需保证事务感，多中心架构下用在中心切换、扩缩容、性，多中心架构下不户中台仍需保证高效分流时，应做到平滑可破坏事务性响应和低延迟一致性性能用户数据一致性要求较高，需保证一定的一致性事务过渡延迟容忍数据同步不可避免存在延时，多中心架构下应避免同步延时产生业务影响平滑切换

11. 目录 1 背景 2 常见模式 3 方案

12. 二、常见模式接入系统 --数据冷备接入系统接入系统优点：改造简单，快速搭建多活，实现多中心高可用中心A 中心B 中心C l 网关层网关层网关层缺点：服务层数据层服务层数据层服务层数据层 l 仅解决应用层的多活，仅一个B数据中心提供服务， A/C数据中心仅为冷备 l 中心切换时，服务层还需配合切换数据中心 l 服务层频繁跨中心调用数据层，高并发系统的异地延时和带宽不可接受 l 整体性能受限于一个数据中心，无法通过增加中心而提升性能

13. 二、常见模式 --数据多活接入系统接入系统接入系统中心A 中心B 中心C 网关层网关层网关层服务层服务层服务层数据层数据层数据层优点： l 数据层、服务层、网关层均为多活，可通过增加中心提升整体性能缺点： l 根据存储架构不同，还可分为以下2种模式：数据切分、全量互备 l 数据切分模式仅适用于所有请求均携带切分依据的场景，且可能引入跨中心事务 l 全量互备模式下数据冗余存储，在单用户并发跨中心访问时可能引起数据终态不可靠和数据不一致问题

14. 二、常见模式 --数据多活&数据切分接入系统接入系统接入系统中心A 中心B 中心C 网关层网关层网关层 l 由服务层或网关层根据请求携带的数据，按照切分规则访问对应的数据中心 l 服务层服务层服务层数据层数据层数据层数据按照某一维度(如uid)进行中心切分，该模式仅适用于所有请求均携带切分依据的场景，且可能引入跨中心事务

15. 二、常见模式 --数据多活&数据切分 login with mobile=13567284520 请求中未携带切分依据网关层网关层服务层服务层无法根据uid路由数据中心 uid mobile name uid mobile name u123 13011122222 David u124 14492001472 Marry u125 15901025342 Li Lei u126 13567284520 Zhang San 中心A 中心B

16. 二、常见模式 --数据多活&数据切分 bind card：uid=c123，card=62140000 跨中心网关层网关层服务层服务层事 uid card bind st uid card bind st 务 u123 62140001 1 u124 62140000 1->0 u123 62140000 1(insert) u126 62149999 0 中心A 中心B

17. 二、常见模式 --数据多活&全量互备接入系统接入系统接入系统中心A 中心B 中心C l 每个中心均存储全量数据，并两两之间相互同步网关层网关层网关层 l 网关层、服务层、数据层均无状态 l 在单用户并发跨中心访问时，可能引起数据终态服务层服务层服务层数据层数据层数据层不可靠和数据不一致问题

18. 二、常见模式跨中心并发写同一条数据 --数据多活&全量互备 set user c123 st=1 set user c123 st=2 网关层网关层服务层服务层 uid mobile st u123 13011122222 1 u124 14492001472 0 中心A ？ uid mobile st u123 13011122222 2 u124 14492001472 0 中心B

19. 二、常见模式 --数据多活&全量互备 set user c123 st=1 get user c123 跨中网关层网关层服务层服务层心并发先 uid mobile st uid mobile st 写 u123 13011122222 1 u123 13011122222 0 后 u124 14492001472 0 u124 14492001472 0 读中心A 中心B

20. 目录 1 背景 2 常见模式 3 方案

21. 三、方案 --整体架构中心级读写分离 l 在数据多活&全量互备模式的基础上，区分“读中心”和“读写中心” l 写请求发到“读写中心”，读请求发到“本中心” l “读中心”和“读写中心”均能接收接入方的读写请求，由网关层根据请求类型进行路由控制接入系统接入系统接入系统读中心A 读写中心B 读中心C 网关层网关层网关层服务层服务层服务层数据层数据层数据层大量读少量写

22. 三、方案 --解决单用户跨中心读写并发问题写请求(c123) ①写请求读中心A 网关层读写中心B 标记缓存 c123 ②转发至读写中心B 服务层网关层 ④同步写标记缓存读中心C 标记缓存 c123 网关层 ⑤异步写标记缓存服务层服务层 ③业务处理与数据落地数据层数据层数据层标记缓存 c123 引入标记缓存，标识用户数据最近发生了修改

23. 三、方案 --解决单用户跨中心读写并发问题短期内发生的读请求(c123) ①读请求读中心A 网关层读写中心B 标记缓存 c123 网关层读中心C 标记缓存 c123 网关层 ③转发至读写中心B 服务层服务层服务层 ④业务处理数据层数据层数据层标记缓存一个用户在标记缓存中存在，意味着该用户近期内发生过数据 ②标记缓存中存在该用户修改，为保证读取数据一致性，该笔读请求应跨中心调用读写中心进行处理 c123

24. 三、方案 --解决单用户跨中心读写并发问题一段时间后发生的读请求(c123) ①读请求读中心A 网关层读写中心B 标记缓存网关层读中心C 标记缓存标记缓存网关层 ②标记已失效 ③本中心调用服务层服务层服务层 ④业务处理数据层数据层数据层标记缓存中的用户标记为短期有效

25. 三、方案 • • --标记数据有效期有效期<<数据同步时延有效期=数据同步时延数据尚未同步完成，标记数据已失效，无法正常完成标记缓存的职责 • 数据同步时延存在波动 • 有一定的概率引发读取数据不一致引发跨中心先写后读的读取数据不一致问题有效期略高于数据同步时延有效期>>数据同步时延 • 数据同步早已完成，读请求已经可以访问本中心，但由于标记数据尚未失效，仍要跨中心访问读写中心 • 导致读写中心压力过大 • 导致读请求平均响应延迟增大标记数据有效期过短数据同步时延范围最优过长

26. 三、方案 --数据同步故障处理数据同步组件故障时，同步时延将持续增大 l 数据尚未同步完成，但标记数据不断失效，将引发跨中心先写后读场景下大规模数据不一致问题监测到数据同步组件故障或缓慢后 l 根据数据同步时延，动态调整写标记数据的有效期 l 触发批量任务，扫描标记缓存，延长已存在标记数据的有效期，以确保读取修改过的用户数据时，可以通过跨中心访问读写中心来获取到正确的数据读中心A 读写中心B 读中心C 标记缓存标记缓存标记缓存延长批量任务监控数据层数据层数据层

27. 三、方案 --中心控制切换读写中心读写中心故障时，需要切换读写中心部分涉及到数据层的重要变更，需要将读写中心切换至其他中心后进行流量切分正常情况下仅本中心调用，以保证服务性能支持将每个中心流量按照比例分配到各个中心，充分利用多中心资源中心下线中心故障时，将该中心业务层下线，流量平均分配至剩余中心，接入系统无感中心上线中心故障恢复后，重新加入多活架构中心扩容，可将新部署的中心加入多活架构

28. 三、方案网关层启动时 --中心控制读中心A 读写中心B 读写中心B 网关层网关层服务层服务层数据层数据层数据层参数信息参数信息参数信息中心参数加载至内存网关层中心配比中心角色 ... A中心 100:0:0 读中心 ... B中心 0:100:0 读写中心 ... C中心 0:0:100 读中心 ... 服务层 ︐ 拉取参数加载到内存参数服务

29. 三、方案 --中心控制分流控制中心将读中心A 读写切换中心参数加载至内存网关层中心第一步：修改中心参数服务层心读写中心B 网关层网关层中心配比中心角色 ... A中心 100:0:0 读中心 ... B中心 0:100:0 读写中心 ... C中心 0:0:100 读中心 ... 服务层服务层数据层数据层参数信息参数信息参数服务至中读写中心B 多写，确保一致数据层参数信息中心配比中心角色 ... A中心 100:0:0 读写中心 ... B中心 0:100:0 读中心 ... C中心 0:0:100 读中心 ...

30. 三、方案 --中心控制分流控制中心第二步：广播通知生效将读写读中心A 读写中心B 读中心C 中网关层网关层网关层服务层服务层服务层数据层数据层数据层心切换至中心

31. 三、方案将读通写知中心切生失败失败超时成功成功完成切换成功停止切换停止处理写请求（业务降级）同步等待数据同步完成覆盖内存中参数读写中心=A 回退内存中参数读写中心=B 获取最新参数读写中心=A 恢复处理写请求恢复处理写请求过程 ︓ 至状中态开始执行切换效换心超时 --中心控制机回退参数

32. 三、方案 --健康监测健康探测根据多项指标，判断是否需要中心下线收集各向流量、耗时、应答码接入系统接入系统接入系统读中心A 读写中心B 读中心C 网关层网关层网关层服务层服务层服务层数据层数据层数据层监测中心收集数据同步延时

33. 三、方案 --优缺点 n 仅1个数据中心处理写类操作，天然避免了跨中心事务 n 仅1个数据中心处理写类操作，天然避免了跨中心并发写同一条数据，导致的数据终态不可靠问题 n 通过读写中心分离，针对读类请求，每个中心均可本中心调用，解决95%以上的跨中心调用 n 可通过中心扩容，提升整体读类服务性能 n 写类请求不可避免跨中心调用，但写类请求耗时容忍度较高 n 写类服务无法通过中心扩容提高整体性能 n 中心分流时，优先按照读写分流策略+标记缓存分流策略，其次按照分流配比、分流名单等，会损失部分分流效果 n 各中心压力略有不均，读写中心承受压力更大（差距<10%，属可控范围内） n 中心存在状态，切换过程略复杂

34.

35.