美团到家商品库存系统演进之路

1. 美团到家商品库存系统演进之路美团交易系统平台

2. 个人介绍宋彬，美团高级技术专家负责美团到家商品&库存相关系统的建设三高系统&平台化建设有一些思考与实践北京理工大学美团同程艺龙 2013 2017

3. 目录业务特性 & 系统现状技术调研 & 架构设计商品库存防超售 & 一致性保障高可用 & 异地容灾平台化的思考与实践未来规划与展望

4. 商品库存 - 业务特性&系统现状订单服务商品管理服务 O2O业务，LBS电商最终一致性 ① 同步扣减库存外卖&闪购 ② 异步记录流水建设库存管理服务蜂窝品类有限库存有限 + 防超售设置库存库存交易服务同步扣减库存扣减库存异常发送补偿消息 ① 4000W 订单支撑 ④ 补偿消息库存 MySQL 口罩抢购活动 ③ 流水校验处理库存流水 MySQL ③ ② binlog 4K 峰值TPS 异步校验回滚记录流水 ② 库存异步服务库存流水记录库存回滚流水冲突处理

5. 商品库存 - 问题分析订单服务商品管理服务最终一致性业务新形态 ① 同步扣减库存 ② 异步记录流水库存管理服务设置库存 ③ 流水校验处理库存交易服务同步扣减库存大促秒杀，常态化扣减库存异常发送补偿消息 B2C业务的探索，支持全国售卖补偿消息库存 MySQL binlog 库存流水 MySQL 异步校验回滚记录流水支撑困难系统能力防超售 -> 最终一致性单SKU库存扣减TPS=300 库存异步服务库存流水记录全城送，品类丰富，库存充足库存回滚流水冲突处理

6. 商品库存 - 目标洪峰流量业务目标大促秒杀热点爆品海量库存准快下单快速准确用户体验丝滑热点商品，海量库存，防超售单热点商品，万级TPS，tp999低于10ms 系统目标稳多级容灾（异地，同地域多机房，同机房多副本）省硬件成本低，研发成本低，运维成本低

7. 商品库存 - 技术调研&选型典型方案类型 Node1 原生MySQL AliSQL/MTSQL* 事务支持支持性能低高可用性中高（PAXOS/MGR）指标特点高并发场景，锁资源竞争、锁等待、上下文切换，导致吞吐量远低于正常水平数据库服务端排队合并热点key更新减少事务内交互时长RTT 避免组提交等待 MTSQL*: MySQL 美团定制版内核，对标 AliSQL，预计2021年末全面替换社区版本 MySQL，同时针对库存场景持续优化 consensus Node3 Node2 • 计算存储一体，极致优化，高性能，高可用 • 研发维护成本高（定制化方案） • 案例：ebay支付系统库存扣减 Redis 库存管理 MySQL • • • • 高性能：Redis同步扣减高可用：AP > CP 事务性：Lua脚本最终一致长期演进：MTSQL + 降级方案

8. 商品库存 - 系统架构服务层存储层基础组件库存查询库存管理批量查询单个查询库存设置每日库存库存规则 Cellar Cellar 从集群主集群 Cellar Cellar 消息队列东 MySQL MySQL 库存交易西库存扣减库存恢复 Redis Redis 西 Redis 北东双向同步南数据传输 MySQL 双向同步 MySQL 一致性保障北南 Redis SET路由定时任务支撑层异步服务缓存异构流水记录流水校验库存迁移库存校验库存修复

9. 商品库存 - 演进思路聚焦单一核心业务防超售核心能力建设单热点高并发访问量增长数据量增长单元化稳定性保障异地容灾海量库存建设通用业务能力业务线变多复杂度变高平台化多业务支撑质量好任意伸缩效率高成本低

10. 商品库存 - 防超售服务约定订单服务商家库存管理 PC APP 开放平台最终一致性消单提单 02 提单异常，异步回滚库存冲突，回滚库存管理服务库存交易服务前置防重库存设置 Lua原子操作 01 提交订单，同步扣减库存流水冲突检测 03 取消订单，异步回滚库存核心要点 MQ 库存扣减扣减成功发送流水库存流水 redis 库存设置BinLog mysql AOF库存流水库存流水服务原子性 Lua脚本操作Redis 一致性流水校验，最终一致高性能 Redis同步扣减异步记录流水批量聚合 mysql 10

11. 商品库存 - 一致性保障正向逆向商家库存设置交易库存扣减异构主通道 DTS Cellar 异构一致性备通道保障 MySQL 问题描述 BCP Redis Redis 批量同步 MySQL Cellar 原因分析解决方案 binlog积压一致性保障，延时检查&修复数据传输服务（DTS）故障双通道冗余 Cellar/Redis库存丢失库存异构丢失消息触发，重新加载 MySQL库存脏数据 Redis覆盖MySQL 设置库存，版本号校验 Cellar/Redis库存老旧

12. 商品库存 - 演进思路聚焦单一核心业务防超售核心能力建设单热点高并发访问量增长数据量增长单元化稳定性保障异地容灾海量库存建设通用业务能力业务线变多复杂度变高平台化多业务支撑质量好任意伸缩效率高成本低

13. 商品库存 - 高可用 - 单元化单量/万背景 5000 4000 3000 2000 1000 0 随着业务的快速增长，到家核心系统需要更高的扩展性与容灾能力时间/年 2017 2018 2019 2020 20个问题存储扩展：MySQL从库数量、主库连接数有限，Redis集群规模有限资源限制：单机房容量限制，跨机房网络延迟与抖动导致稳定性问题容灾问题：多机房架构，主从切换时间长，应对地区风险高易扩展：任意伸缩目标方案高可用：异地容灾单元化（SET化）

14. 商品库存 - 高可用 - 单元化核心交易场景流量（用户&商家）订单 Nginx + HLB 接入层接入层接入层接入层服务层服务层服务层服务层存储层存储层存储层存储层北部SET 西部SET 南部SET 东部SET 库存核心存储 Redis 互备容灾互备容灾 MySQL

15. 商品库存 - 高可用 - 单元化库存查询（就近部署）服务层路由层同机房 < 同地域 < 跨地域跨SET 同SET DTS DTS JD 存储层 YP Cellar Cellar 从集群主集群 Cellar 单机房全量数据 Cellar 库存交易（SET部署）库存管理（中心部署） ZF 东 MySQL MySQL 西 MQ 东 Redis XR 南 MySQL 西 Redis 北双向同步双向同步 DTS Redis MySQL 北 MQ 南 Redis 单SET全量/2数据秒级自动切换 30秒快速切换 30秒快速切换

16. 商品库存 - 高可用 - Redis容灾冲突流水校验某分片主桶宕机 AOF日志丢失新主桶数据不一致库存修正最终一致 MySQL Redis库存需扣减库存 Master AOF Slave Redis MySQL库存状态老主桶服务 10 1 9 准确老主桶宕机，AOF日志丢失 9 - 9 准确新主桶服务，数据不一致 10 2 8 超售 7 准确库存流水处理服务计算剩余库存10-2-1=7 双通道扣减日志，库存流水校验，剩余库存修正主从分片异步复制 Redis核心问题 Master 解决思路库存不存在异步触发事件库存修复读取原始库存 Slave 批量去重某分片完全宕机库存数据丢失 Redis 最终一致 MySQL 触发库存不存在事件，异步批量修复

17. 商品库存 - 演进思路聚焦单一核心业务防超售核心能力建设单热点高并发访问量增长数据量增长单元化稳定性保障异地容灾海量库存建设通用业务能力业务线变多复杂度变高平台化多业务支撑质量好任意伸缩效率高成本低

18. 商品库存 - 整体架构库存查询业务模式业务能力部署架构支撑功能库存管理店仓一体批量查询单个查询 Cellar Cellar 从集群主集群 Cellar Cellar 库存缓存交易库存店仓库存组包库存数据异构库存交易区域仓储库存设置每日库存库存规则东 MySQL MySQL 西库存扣减库存回滚 Redis Redis 西 Redis 北东双向同步南 MySQL 双向同步 MySQL 北南 Redis 版本控制流水补偿流水校验前置防重库存核销延时校验异常重载一致性保障

19. 商品库存 - 演进思路聚焦单一核心业务防超售核心能力建设单热点高并发访问量增长数据量增长单元化稳定性保障异地容灾海量库存建设通用业务能力业务线变多复杂度变高平台化多业务支撑质量好任意伸缩效率高成本低

20. 商品库存 - 平台化的思考与实践背景万物到家餐饮品类扩充业务创新甜点商超医药团好货鲜花母婴跑腿帮买生鲜 … 其他方案实现方式小业务复用大业务流程存储大业务兼容小业务逻辑各种if 产研效率低问题代码冗余中间件代码部署 else 回归量大运维复杂沟通频繁多个业务逻辑耦合，交付质量存在极大隐患质量风险高提升产研质效研发测试产品支撑更多业务外卖闪购医药目标团好货创新业务平台化建设

21. 商品库存 - 平台化的思考与实践 - 业务身份如何区分不同业务？引入业务身份规则前提业务身份是什么？管理业务个性化资产流程存储如何定义业务身份？正交 + 唯一品类1 实现到家业务身份业务线品类2 品类3 如：外卖 + 美食

22. 商品库存 - 平台化的思考与实践 - 整体方案业务层接入层外卖搜索业务场景闪购医药团好货营销广告推荐商品列表商品详情购物车订单提单页创新业务平台化管理中心商家业务身份库存管理服务层业务配置业务能力支撑层存储层流程编排库存查询库存扣减库存设置基于业务身份的存储路由组件逻辑隔离存储路由配置外卖闪购团好货创新业务 MySQL MySQL MySQL MySQL Redis Redis Redis Redis Cellar Cellar Cellar Cellar 存储隔离

23. 基于业务身份的存储路由组件一次开发外卖业务身份SDK 闪购多方复用动态路由统一数据访问接口&注解服务层库存查询库存管理库存交易数据源路由封装公司基础组件路由层业务身份存储路由组件 MySQLMultiClient RedisMultiClient mysql mysql 存储层 redis cellar CellarMultiClient SearchMultiClient cellar redis MafkaMultiClient MultiClient 聚合多业务数据源

24. 商品库存 - 演进思路聚焦单一核心业务防超售核心能力建设单热点高并发访问量增长数据量增长单元化稳定性保障异地容灾海量库存建设通用业务能力业务线变多复杂度变高平台化多业务支撑质量好任意伸缩效率高成本低

25. 商品库存 - 未来规划与展望业务可隔离 MTSQL 架构平台 RedisRaft 业务自助式扩展业务可视化团队欢迎优秀的你加入我们！共建到家交易系统平台，帮助大家吃得更好，生活更好！ CODE A BETTER LIFE! EAT BETTER, LIVE BETTER!

26. 招贤纳士，渴望优秀的你加入我们始终坚持庖丁解牛般的分析业务需求，构建出恰如其分的系统架构，设计出丝丝入扣的微观代码实现！让我们心情愉悦的Coding~ 美团交易系统平台 JAVA专家（商品&库存）工作职责 1、负责商品中心业务的迭代与创新，打造海量商品在B端的高效管理与运营、在C端的高性能检索与浏览交易； 2、负责商品中心的稳定性建设，99.99%是最基本的目标，带领小伙伴完成应用层性能优化、中间件深度实践、底层存储升级； 3、负责商品中心库存服务的持续升级，打造店仓一体、区域仓储等多模式库存体系，具备防超售、防少售、抗秒杀等系统能力； 4、负责商品中心标品体系的建设，满足更多品类（餐饮，商超、药品、鲜花等）商家的高质量快捷上单诉求； 5、深度参与商品公共服务建设，打造业内领先的商品平台，具备业务可隔离、业务可配置、业务可扩展、业务可视化； 6、负责业内探索性技术在商品中心的实验与落地，包括单元化（SET化）、分布式数据库（TiDB）、MTSQL、RedisRaft等。诱惑力 1、海量数据，可媲美头部电商平台的商品量级 2、大流量、高并发，午高峰QPS 60W+ 3、高吞吐、低延迟，核心接口4个9耗时低于50ms 4、单热点商品库存扣减TPS不低于3万，TP999不高于50ms 5、屈指可数的每日订单均过千万的没有天花板的舞台招聘：交易系统平台 JAVA 工程师邮箱：songbin04@meituan.com 更多技术干货欢迎关注“美团技术团队”

27.

28. 招聘：交易系统平台 JAVA 工程师邮箱：songbin04@meituan.com 更多技术干货欢迎关注“美团技术团队”