京东到家核心系统微服务演进落地实践

1. 京东到家核心系统微服务演进落地实践孙岩

2.

3. 目录 1 微服务演进之路遇到的挑战 2 复杂业务微服务演进过程案例-商品系统 · 微服务领域底座建设-痛点以及解决方案 · 微服务网关建设-微服务Gateway+LBS可视化网格 · 阶段复盘-成果以及痛点 3 展望 · 微服务的下一个阶段摸索-领域服务PaaS平台

4. 微服务架构演进的挑战 -最新微服务行业报告显示，2018-2023 之间微服务增速为 22.4% ，占据亚太地区 35% 的市场份额。（数据来源：Marketsandmakets） -2018微服务面临挑战（数据来源：Dimensional Research）微服务维护成本高面临挑战业务用不到微服务微服务的性能问题微服务部署经验问题

5. 行业内部调研结果收集微服务演进痛点如何进行切换微服务的转型过程如何划分领域微服务的业务划分问题定位难微服务问题定位难数据一致性问题微服务间的数据一致 0 微服务演进实践统计 90 成本 67.5 初期单体成本低业务复杂度提高单体服务的成本逐渐高于微服务 12.5 25 37.5 50 单体微服务 45 22.5 0 业务复杂度

6. 目录 1 微服务演进之路遇到的挑战 2 复杂业务微服务演进过程-商品系统 · 微服务领域底座建设-痛点以及解决方案 · 微服务网关建设-微服务Gateway+LBS可视化网格 · 阶段复盘-成果以及痛点 3 展望 · 微服务的下一个阶段摸索-领域服务PaaS平台

7. 微服务演进的过程阶段复盘微服务网关建设微服务底座建设微服务的演进迭代过程 BFF聚合层服务建设 LBS网关可视化建设

8. 微服务底座建设-商品单体向微服务演进整体过程微服务架构治理子域微服务部署标库子域拓品子域品类治理规则模型 sku模板 spu模板数据清洗名称治理毛重治理视频模板预备库热卖推荐双机房部署治理服务治理查询治理规则 …… 规则触达分布式部署双机房部署双机房部署标库服务拓品服务拓品商品分⻚查询接口双机房部署标库建品写模板可售库用库存预占库存售罄 …… 视频录入 …… 拓品推荐接口一键拓品某一领域定向扩展业务精细化挖掘微服务领域扩展困难快速迭代期双机房部署库存服务提单扣减库存查询售罄查询可用查询 …… 业务复杂度变高服务稳定性要求高分布式部署数据库共用复杂度变高、维护性差单体架构库存子域业务耦合度高错误隔离性差分布式架构大数据业务扩展期服务稳定性差产品交付速度变慢单体业务聚合商品治理、商品标库、商品拓品、商品库存、商品属性、商品打标............ 业务初期初期业务发展迅速业务简单、变更频单体维护成本低

9. 微服务底座建设-商品演进至微服务过程中遇到的痛点商品业务微服务如何划分领域商品微服务中的数据一致性问题如何解决

10. 微服务底座建设-商品业务微服务如何划分领域如何拆分领域平台业务领域划分根据业务边界剥离平台业务领域商品主子业务领域划分 15个商品子域剥离综合业务评估价值贴合业务发展，逐步拆分部署业务子域微服务适应度函数思维函数化指标-产品交付周期函数领域建模四色建模法

11. 平台领域划分购物⻋前业务搜索商品购物⻋后业务商品热词商品促销商品图片活动商品发现商品商品贯穿业务主线订单商品履约商品商品价格商品feeds 商家商品会员商品购物⻋商品

12. 平台领域划分 TOC端用户 TOB端商家搜推营销流量分发搜索商品交易加购物⻋商家商品线上⻔店线上商品订单搭建楼层售后配送售后库存促销线上库存线上商品促销营销配置 CMS 运营履约搭建LBS资源配置商家促销线上营销

13. 商品主子业务领域划分拓品子域标库子域大数据推送审核预备库数据采集标库标品商品推荐图库子域图片维护商品主域模板创建领域耦合属性继承免审类目属性限购策略特殊属性限购组原因收集详情记录类别划分录入模型商品下架店内分类绑定sku 策略模型模型训练人工干涉策略反补治理触达三级分类现货库存初始化库存非售罄售罄不可售可售库存状态组装数据价格子域审核驳回 pin限购限购数量限购时间同步数据查询商品⻔店sku价格查询⻔店到手价格订单限购构建映射初始化商家维度二级分类预占库存审核通过限购子域一级分类边界划分审核自主创建属性子域末级锁定库存融合子域商品创建治理子域可用库存 spu模板商品图片模板⻔店sku库存查询⻔店标库模板标库非标品查询商品初始化 sku模板标库数据运营拓品库存子域促销价格⻔店价格治理规则平台分类图片店内分类特殊属性类目属性名称重量详情品牌 … 其他子域 …… 商家价格初始化价格

14. 结合业务评估价值结合业务价值结合架构价值架构本来就是应该是研发人员自己的工作职责，平衡系统架构的重要性与功能的紧急程度这件事，是软件研发人员自己的职责 -Robert C. Martin

15. 适应度函数思维-产品交付周期函数 · 同业务下，每月需求按时间倒序：开发人*日（开发大于1天的需求）/30日 · 函数超过60%，列入待观察列表。 · 如果函数超过80%，大概率系统的即将到达负载饱和，也给我们一个信号：增加资源、或者启动系统优化。 0.9 0.675 0.64 0.58 0.53 产品交付周期函数 0.86 0.81 0.76 0.45 0.225 0 2019年11月 2020年1月系统/日期 2020.06 2020.0 开启微服务部署商品 0.81 0.86 2020年3月 2020年5月 2020年6月 2020年7月 2020.0 进行中 2020.0 进行中 2020.1 进行中 2020.1 灰度 2020.1 灰度 2021.0 上线 2021.02 2021.03 2021.04 0.88 0.91 0.93 0.91 0.90 0.63 0.55 0.68 0.62 2022.0 进行中 2022.0 进行中 2022.0 进行中 2022.0 上线 2022.05 2022.06 0.89 0.87 0.91 0.68 0.64 0.66 系统/日期 2021.03 2021.04 2021.07 2021.08 2021.1 开启微服务部署库存 0.75 0.62 0.79 0.86 0.81 效果体现效果体现 … …

16. 商品领域建模-四色建模拓品域商品四色建模 ·面向对象建模 ·定义时标性⻣干节点 ·丰富时标⻣干添加⻆色、描述、实体建品域治理域

17. 微服务底座建设-商品演进至微服务过程中遇到的痛点商品业务微服务如何划分领域商品微服务中的数据一致性问题如何解决

18. 微服务切换中数据一致性痛点痛点微服务切换过渡期⻓期间数据不一致期间业务重复开发硬编码校验拆分 API层原接口API 新接口API 新接口API 新接口API 子业务A 子业务B 子业务C 解耦业务层原业务原数据数据层新数据

19. 解决数据一致性问题-轻量级架构方案 Dubbo泛化模块 MQ消息模块规则引擎模块治理服务微服务存储层报警模块标库服务分类敏感词名称品牌图片属性 REDIS 标品模板 SKU SPU 消息发送限购服务多规格 PIN限购视频限购组 ES MYSQL 延迟消费模块 ORDER限购绑定sku 绑定 …… MQ producer MQ producer …… 消息驱动数据对比轻量级数据一致性校验平台消息订阅对比告警执行 SDK check data aviator脚本 Dubbo 配置校验规则 MQ register MQ consumer

20. 微服务数据验证平台-柚子平台多种校验方式非侵入式可视化告警统一处理

21. 微服务演进的过程阶段复盘微服务网关建设微服务底座建设微服务的演进迭代过程 BFF聚合层服务建设 LBS网关可视化建设

22. 微服务网关建设面临的痛点 BFF服务如何划分基于LBS业务网关如何快速定位问题

23. BFF服务划分按产品统一BFF 按业务划分BFF 端 APP H5 小程序京明 APP H5 小程序京明物理网关鉴权限流反爬路由鉴权限流反爬路由 GW服务商品feeds网关 BFF 服务单品⻚网关购物⻋网关促销网关 … 统一BFF 图片限购主信息分类购物⻋收银台价格到手价商品feeds网关商品BFF 优惠券满减促销 …… 单品⻚网关购物⻋网关交易BFF 促销网关促销BFF 图片名称分类提单加⻋金额价格优惠促销属性限购收银售后 …… 满减到手 …… …… … ……

24. 微服务网关建设面临的痛点 BFF服务如何划分 LBS商品业务网关如何快速定位问题

25. LBS商品业务网关痛点 LBS定位 GW 商品BFF 接口聚合商品接口库存接口促销接口 …… · POI点位商品问题排查难 · 监控覆盖不全 · 排查链路⻓、成本高商品不展示商品活动配置错误商品业务网关报错商品楼层掉楼商品优惠券错配

26. LBS商品业务网关痛点解决方案-追⻛网格业务方数据追⻛核心三大模块数据接入模块数据集模块网格SAAS平台

27. 网关LBS网格可视化监控-追⻛ POI异常上报收集 LBS网格化展示异常问题分析处理

28. 微服务演进的过程阶段复盘微服务网关建设 BFF聚合层服务建设 LBS网关可视化建设微服务底座建设微服务的演进迭代过程

29. 微服务部署复盘

30. 微服务当前架构优点：端小程序 H5 APP 附近频道鉴权京明业务业务松耦合团队分工明确痛点：复用性差流程限流 GW 服务商品feeds网关频道⻚网关 sentienal限流商品基础信息商品促销资源频道精选大促楼层名称图片详情商品热销榜单推荐蜂鸣商品附近⻔店业务数据集合高可用易扩展接入 BFF 服务微服 …… 自研编排框架业务聚合高可用、可编排商品BFF 主信息图片属性分类 …… 商品提单交易BFF 购物⻋收银台售后搜推BFF 促销BFF 价格 …… 满减优惠券到手价 …… 联想词多端聚合降低沟通成本 …… 店内搜索秒杀搜索搜推服务促销交易首⻚搜索流程编排领域建模边界划分 …… 微服务部署 Service Mesh 网格服务商品服务 Sidecar 库存服务 Sidecar 价格服务 Sidecar 促销服务 Sidecar 商家服务 Sidecar ⻔店服务 Sidecar 购物⻋服务 Sidecar 订单服务 Sidecar 降低维护升级成本服务高可用

31. 目录 1 微服务演进之路遇到的挑战 2 复杂业务微服务演进过程-商品系统 · 微服务领域底座建设-痛点以及解决方案 · 微服务网关建设-微服务Gateway+LBS可视化网格 · 阶段复盘-成果以及痛点 3 展望 · 微服务的下一个阶段摸索-领域服务PaaS平台

32. 展望-微服务领域服务PaaS平台建设降低前端成本降低沟通成本可复用共享业务领域

33.