百胜中国--即时配送平台数字化演进

1. 百胜中国 – 即时配送平台数字化架构演进卢辰宏百胜中国-数字化研发中心即时配送平台架构师

2.

3. 自我介绍卢辰宏 • 12年互联网从业 • 6年千万级DAU项目架构师/项目负责人 • 电商平台领域/内容平台领域/配送平台领域 • 2021年加入百胜中国数字化研发中心，负责即时配送平台、业务架构演进

4. 前言-百胜中国数字化研发中心大前端门店运营智能外送大数据数字化研发中心上海人工智能供应链管理中台南京数据智能基础架构数字化餐饮云服务西安 …

5. 前言-百胜中国数字化生态

6. 前言-即时配送平台简介餐厅对餐厅来说，即时配送平台完成的是“最后一公里”，是整个外送业务的最后一环。餐厅制作完餐之后，将餐品给到骑手，并通过餐厅APP完成结算。骑手骑手完成的是“履约”，智能也主要用于骑手，根据骑手APP获得被指派后的订单信息，到餐厅取餐后根据APP的路线规划送到用户手里。用户用户“准时”收到骑手送到的餐点

7. 目录 1 2 3 添加标题即时配送平台架构演进史添加标题即时配送平台工业化架构添加标题即时配送平台未来架构展望

8. 即时配送平台架构演进史人工配送架构 1.0 2003年左右，配送业务的产生的初时，百胜是如何在当时的背景下，完成业务的？数字化架构 2.0 2010年左右，随着技术的叠新，我们有机会将业务翻倍，人工被替换成了数字化系统。智能架构 3.0 2016年左右，随着业务发展越来越迅速，传统的架构已经无法满足诉求，智能配送应运而生。工业化架构 4.0 2022年，海量订单、海量骑手、海量服务。业务的发展对架构的要求更加严格，我们将目光移向了云上。

9. 演进史-人工配送1.0 业务背景技术背景架构痛点外送诉求互联网起步人工配送人工/履约难彼时，主流的用餐方式是堂食，但也有少部分用户希望家中用餐。随着400电话的兴起，让外送业务可以开始推广。 • 400电话普及 • 微机时代 • 互联网萌芽呼叫中心 Telnet 人工录入POS 店员配送人工扫街每日结款 • • • • • • 效率低下：接线员N*M餐厅配送地址：人工扫街（大的POI点）的精细度，和覆盖范围派单员人工错漏支付收款：货到付款对骑手的管理要求更高了，现金管理的风险

10. 演进史-数字化配送2.0 • • • • • • 业务背景技术背景架构痛点做更多生意互联网爆发数字化配送配送/骑手管理效率低下：接线员N*M餐厅配送地址：人工扫街（大的POI点）的精细度，和覆盖范围派单员人工错漏支付收款：货到付款对骑手的管理要求更高了，现金管理的风险外送品牌 • 派单难度增加：更多订单，更多地址，更多的骑手 SVN • 骑手的管理：骑手的位置，状态虚拟机 • 配送成本、配送效率：指派是否合理？骑手是否高效？ • 稳定性：餐厅/骑手的使用外送系统 • 线上支付入口层 • 线上地图 • PC/H5 DNS NG 下单商圈/调度选店/支付餐厅/骑手管理服务层自研打包发布存储 SQLLite

11. 演进史-智能配送3.0 业务背景架构技术背景外送品牌外送诉求智能物流平台移动/智能前端系统 • • • • 派单难度增加：更多订单，更多地址，更多的骑手骑手的管理：骑手的位置，状态配送成本、配送效率：指派是否合理？骑手是否高效？稳定性：餐厅/骑手的使用 openAPI 骑手APP … 餐厅APP 运营平台 DNS • • • • 订单服务移动端兴起微服务架构调度/爆单离线预估骑手/餐厅运营平台公共服务 LVS 中台层接单实时调度出餐时间预估订单管理餐厅骑手管理极光推送物流订单查询爆单预估运力预估骑手餐厅上报业务指导高德服务物流状态查询 ETA预估交付时间预估骑手实名认证业务数据统计日志服务 FlowCTL 智能时代 NG 大数据 uproxy 中间件 Kakfa Mysql ES Redis jenkins 注册发现大数据 HIVE Impala HBase Kylin Hadoop

12. 演进史-3.0的新痛点痛点稳定/发展 1.0人工 2.0规则 3.0智能 4.0工业化 • 功能服务膨胀：语言栈与技能不符、迭代难、产出少、定制化严重 • 算法演进难：排障困难、中间数据缺失、验证周期长、业务有损 • 开发运维协同成本：迭代慢、产出少，瀑布模型跟不上业务诉求，大量精力在流程协同 • 越发重要的稳定性：到处漏水的网络节点、容灾能力不足、中间件的瓶颈提前到来

13. 演进史-工业化4.0要点稳定性:99.995% 便捷性:高效研发、低成本维护灵活性:面向领域、高复用、快速试错注：稳定性指标计算公式为全年系统故障时长/全年提供服务的时长，99.995%的目标意味着全年的故障时长不能超过26分钟

14. 4.0-99.995%稳定性

15. 4.0-99.995%稳定性-设计原则感知++ 自动化容灾逃生路径

16. 4.0-99.995%稳定性-感知++ 发生故障大片告警查看告警和监控 10m-60m 传统感知故障解除分析原因解决问题找到跟因

17. 4.0-99.995%稳定性-感知++ 发生故障关键告警执行预设备案查看告警和监控分析原因找到跟因故障排除逃生路径++ 排查路径++ 解决问题备案恢复

18. 4.0-99.995%稳定性-自动化容灾流控组件 VIP 操盘手 Flow CTL备 Flow CTL主 99.995%稳定性-自动化容灾全自动容灾公有云A 监控告警中心公有云B 公有云C 操盘手监控采集展示网关注册发现网关注册发现网关注册发现打通监控告警配置订单骑手订单骑手订单骑手植入备案告警触达算法运营算法运营算法运营自动执行办公软件

19. 4.0-99.995%稳定性-逃生路径 99.995%稳定性-数据容灾主从自动切换公有云A 公有云B 公有云C 服务组服务组服务组公有云数据层公有云数据层公有云数据层 MQ Redis MQ Redis MQ Redis SONIC 自动降级 S级中心化数据层 DBproxy 自动补偿 DBproxy DBproxy ZK 最终一致性 Mysql主 Mysql从 Mysql从 Mysql从 Mysql从 Mysql从缓存同步 DB主故障补偿 Kafka/ES 补偿服务 A级中心化数据层 ES Falcon HIVE HBASE

20. 4.0-研发提效

21. 4.0-研发提效高效研发、低成本维护公有云A 公有云B 公有云C NGX NGX NGX 网关无侵入监控和限流无侵入ServiceMesh 无侵入中间件版本更迭网关网关注册发现中心注册发现中心研发工作流一键打包发布代码检查、单元测试、安全检查注册发现中心 Starter框架 Starter框架 Starter框架 CD 标准监控标准日志标准监控标准日志标准监控标准日志健康检查 Service Mesh 标准中间件 Service Mesh 标准中间件 Service Mesh 标准中间件 Keep Alive 标准接入 Keep Alive 标准接入 Keep Alive 标准接入 GITEE CI 代码托管 Docker Build 规范扫描编译环境集成安全扫描 Code Review 推送 Harbor 环境集成单元测试生成 Deploy 自动化用例容量管理业务服务业务服务业务服务公有云数据层公有云数据层公有云数据层 Redis MQ Redis MQ Redis 中心化数据层 Mysql ES falcon HIVE HBASE MQ

22. 4.0-面向领域、高复用、快速低成本试错 4 业务规则越来越复杂？微服务之间的边界越来越不清晰？ 3 2 接口逻辑随着迭代变得不清晰，随意的封装和随意的调用算法和业务糅合在一起提供服务，精通算法+工程才可维护 1 算法迭代只能线上流量验证效果，以月为周期的迭代

23. 4.0-面向领域、高复用、快速低成本试错微服务Domain-Driven Design 高复用平台化模块离线仿真效果验证面向领域、高复用、快速低成本试错算法中心业务中心订单正向交易逆向交易多维查询订单履历租户算法工程业务分析中心算法离线仿真 DashBoard 租户APP 业务接入任务管理算法控制爆单算法调度算法预估算法仿真框架模拟中心数据中心业务注册 Xxl-job 算法插座模拟指派算法混合路径规划运力预估算法启动任务订单模拟订单记录算法模型选择模型管理 ABTEST 历史经验算法并联分组算法送达预估算法终止任务骑手模拟骑手数据履历平台业务回调注册模型算法转换多算法协同虚拟距离算法空驶调度算法出餐预估算法仿真时段天气模拟模拟结果运营平台门店管理订单操作排班增值口袋经理时光机数据平台骑手运营骑手APP 订单管理骑手考试租户管理骑手管理骑手管理增值报表配置管理数据中心中间件&持久层 Mysql Redis ES日志异步持久层 Hive Hbase 日志收集&推送 ES TiDB Flume 数仓 HDFS/Hive Doris Spark Flink Kafka

24. 未来-互联互通、技术嗅觉、动态治理业务业务系统，未知的未来未来互通互联、技术热情从业务深挖痛点，技术嗅觉工业化智能数字化技术人工

25.