百万到千万在线，美的 IoT 平台踩坑历程

1. 百万到千万在线，美的 IoT 平台踩坑历程顺炽国美的

2.

3. 个人简介顺炽国重要经历美的IoT-云平台 IoT平台负责人 5000 w/d 2008 江苏省电信短信平台 5w/s 2014 酷狗音乐搜索服务 30w/s 2021 美的IoT云平台

4. 目录 01 简介 02 连接之坑 03 交互之坑 04 消息之坑 05 架构之坑

5. 01 美的IoT简介

6. 美的物联网愿景连接用户与家庭为亿万家庭提供最佳的全屋智能家居体验

7. 美的美居 - 全屋智能场景餐具清洗一键报警干燥换气极速升温浴室一键呼救水温调节音乐播放灯光调节一键零冷水餐前暖碗烟灶联动清爽微蒸烤定时洗碗健康存储单品能力 • 洗护场景联动洗完通知衣物烘干 • 安防自动晾衣洗衣完成播报通知除湿干燥洗衣机晾衣架联动 • 烹饪 • 营养烘干提醒 • 衣物洗护厨房卫浴 • 衣物烘晾阳台 • 湿度调节空气检测联动净化器室 • 娱乐自动净化 • 安防 • 娱乐空间场景空间场景智能场景空气净化循环空气模式 • 空气厅环境检测除湿机智能除湿 • 空气影院模式 • • • 智能产品 • 安全 • ⻝材 • 水⻔锁异常警报回家场景餐具存储一键烘衣 • 清洁开启清新空气离家场景抽烟换气夏日凉爽沐浴冬季快速沐浴⻔锁报警微波加热餐前预洗沐浴后自动干燥空气净化火力蒸烤火力蒸烤⻛扇睡眠防着凉聚会模式湿度调节⻛速调节 • • • 场景联动单品能力智能产品

8. 设备卡片 - 控制与丰富的内容服务设备控制推荐控制⻚推荐⻚超级插件⻚ ■ 用户体验一致 ■ 清晰易懂易用 ■ 控制一触即达 ■ 用户运营阵地 ■ 丰富推荐内容 ■ 提高用户活跃 ■ 集合通用信息 ■ 一键售后报修 ■ 耗材轻松购买超级插件⻚

9. ⻝谱 - 海量⻝谱，享受一键烹饪的乐趣 17000+智能⻝谱，在家吃遍世界美⻝手机操控一键烹饪，轻松坐等美味出炉

10. 服务 - 售后服务主阵地工程师美居服务用户首⻚丰富的售后服务能力，打造服务体验闭环维修一键报修，故障自助排除建议，使用方便快捷售后系统在线客服清洗家电深度保养，专人服务价格透明，60天售后智能在线客服，时刻响应用户需要维修服务保养服务网点查询网点地图模式，精准导航快速直达说明书掌上电子说明书，方便自助解决问题自助服务上⻔服务安装服务美的工程师清洗服务电子说明书耗材提醒、购买故障自查滤芯防伪网点查询收费标准保修政策在线客服

11. 美的物联网发展历程 2000w 40w/s 1500w 30w/s 1000w 20w/s 500w 10w/s 实时在线设备消息 2018 2019 2020 2021 2022

12. 万物之始，大道至简，衍化至繁老子《道德经》

13. 02 连接之坑

14. 连接之坑 — 配网 2.连接路由智能设备 3.设备上云路由器云 1.AP配网 4.绑定设备 App应用

15. 连接之坑 — 配网安全 4.成功绑定设备老王家云用户家 3.设备连云设备为什么自动改变工作状态？ 2.设备连接老王家Wifi 老王家路由器智能设备 1.发现AP热点并配网（录入老王家Wifi热点和密码）隔壁老王

16. 连接之坑 — 配网安全解决方案之后确权 4.绑定设备？须操作设备指定物理按键完成确权老王家云 3.设备连云用户家 3.设备连云 2.连接路由 2.设备连接老王家Wifi 老王家路由器智能设备 5.确权 1.重启AP并配网 1.发现AP热点并配网（录入老王Wifi热点和密码）隔壁老王 4.绑定路由器

17. 连接之坑 — 配网安全解决方案之免确权 • 自己的设备，为什么还要再操作物理键才能控制？ • 空调这么高怎么按…… 云 3.绑定时综合判断AP信号强度是否手工开启AP，免除确权操作 1.手工开启AP，记录AP信号强度 2.连接云智能设备

18. 连接之坑 — 设备接入智能设备 100w+ 负载均衡服务 access.xxx.com 接入层服务集群

19. 连接之坑 — 设备接入问题智能设备负载均衡服务接入层服务集群 1000w+ access.xxx.com 100w+ • • • • DNS绑定IP限制生效时间久负载分配不均衡异常处理需要代码适配 SLB单节点连接数限制服务升级导致服务节点连接重连，引起流量冲击

20. 连接之坑 — 设备接入问题：智能DNS 智能设备智能DNS SLB groupA addr 基于智能DNS按区域，动态规划入口SLB集群地址 SLB groupA addr • • • • √DNS绑定IP限制生效时间久负载分配不均衡异常处理需要代码适配 SLB IP GroupA 接入层服务集群A SLB IP GroupB 接入层服务集群B 根据分配的入口地址连接

21. 连接之坑 — 设备接入问题：设备寻址智能设备 ADNS(设备寻址服务) 1.获取设备接入点路由策略配置管理集群管理离线重置 • • • • √DNS绑定IP限制 √实时生效 √动态切换设备区域 √基于SLB及后端服务压力可动态调节接入点多个接入集群 2.存储接入地址 SLB IP GroupA 接入层服务集群A SLB IP GroupB 接入层服务集群B 3.连接指定接入服务

22. 连接之坑 — 设备接入问题智能设备存量设备新设备智能DNS ADNS(设备寻址服务) SLB IP GroupA 接入层服务集群A SLB IP GroupB 接入层服务集群B 根据入口地址连接

23. !"#$%&'()*" 连接之坑 — 设备接入问题：TCP平滑升级接入层服务升级或重启时，之上的所有连接会断开并重连，引发短时流量⻛暴。旧版本服务新版本服务解决思路通知旧服务连接并传递FD 利用uds(unix domain socket)将旧服务的 tcp fd控制权转移到新服务，由新服务接管 tcp fd 继续数据处理，从而避免TCP断开重连引起的流量冲击，减少发版对用户的影响。启动并创建UDS监听创建uds连接循环发送发送tcp fd(设置SCM_RIGHTS) 恢复连接清理资源退出服务关闭UDS监听

24. 03 交互之坑

25. 交互之坑 — 设备控制用户家云 1.远程控制（云端控制）路由器智能设备 3.本地控制 2.本地控制（局域网控制）用户中控屏、网关网关子设备

26. 交互之坑 — 云端控制(旧) 网关业务鉴权服务 App应用三方语音平台开放平台网关链路⻓，入口多设备消息处理服务待发送队列响应消息队列基于同步阻塞队列，高并发时阻塞严重，请求大量堆积设备接入服务集群消息适配分发设备控制服务协议转换服务下行消息队列多次MQ交换，且响应回调重度依赖Redis及MQ 智能设备上行消息队列消息未区分隔离，上报处理阻塞会相互影响

27. 交互之坑 — 设备控制之云端控制网关业务鉴权服务 App应用三方语音平台开放平台网关设备消息处理服务待发送队列响应消息队列服务框架异步化改造, 移除同步锁等待机制设备接入服务集群消息适配及发设备控制服务协议转换服务下行消息队列合并、移除非必要节点，无状态化改造上行消息队列消息分拆，隔离智能设备

28. 交互之坑 — 云端控制-无状态改造控制请求基于同步等待，因此控制服务必须保持状态等待设备异步响应控制结果，旧服务依赖 redis存储请求及节点，同时依赖MQ作节点队列异步获取，性能较差旧逻辑优化逻辑 1byte 设备控制 node1 node1 3.消费并处理请求响应设备控制 node1 2.写入对应Topic 写入 1.查询设备控制请求所在节点请求状态消息适配分发 1. 利用控制协议的 msgid在响应时会带回特性，将最msgid最高位标记为node id，剩余位继续按序编号 node2 设备控制 node2 sequence number msgid rpc/http 控制响应服务 rpc/http 写入设备控制 node2 node Id 7byte 2. 从响应的msgid中的最高位拆解出node id，利用服务治理框架的tag 快速找到请求节点回调

29. 交互之坑 — 云端控制-改造优化网关控制业务服务 App应用三方语音平台下行消息队列设备控制交互开放平台网关协议转换服务控制响应服务控制响应上报事件设备接入服务集群智能设备

30. 交互之坑 — 云端控制改造效果 TPS： RT： 900/s 16000/s 1200ms 355ms

31. 04 消息之坑

32. 消息之坑 — Kafka再平衡问题智能设备设备接入服务集群设备上报消息消息处理服务集群业务消息业务服务业务消息业务服务业务消息业务服务

33. 消息之坑 — Kafka再平衡问题智能设备设备接入服务集群设备数上升升级、重启设备上报消息消息突增消息处理服务集群堆积且不消费业务消息业务服务业务消息业务服务业务消息业务服务影响业务服务

34. 消息之坑 — 问题分析消息通道过于集中，单点压力大消息都生产到同一个Broker集群和Topic 02 消费线程池使用阻塞队列消费线程池使用了固定大小的阻塞队列，当消费大量消息时，处理线程处理时间过⻓导致消费线程阻塞，触发Kafka主动再平衡过渡依赖Redis及DB 01 消息的处理过程过渡依赖 03 Redis及DB来处理数据，流量过大时Redis及DB是较严重的瓶颈

35. 消息之坑 — 问题分析：阻塞队列 work thread pool kafka consumer thread 100 循环调用execute poll 待处理消息队列 5000 BLOCK 工作线程池 4000 执行完成，继续执行poll方法任务队列（LinkedBlockingQueue）初始化了有界阻塞队列，当线程池满且执行任务超过最大队列数时，会阻塞调用线程

36. 消息之坑 — 问题分析：阻塞队列优化 work thread pool kafka consumer thread poll 流控正常流量超过限制流量 100 循环调用execute 恢复消费待处理消息队列暂停消费工作线程池 unlimited 执行完成，继续执行poll方法任务队列（LinkedBlockingQueue）

37. 消息之坑 — 基于配置规则：从源头拆分设备接入服务 cluster1 生产者1 消息解析路由管理消息处理—洗衣机 report wash topic 生产者2 生产者3 消息处理—⻛扇 report fans topic cluster2 消息处理—空调 report aircondition topic 路由配置同步配置中心服务更新路由配置路由规则 MQ集群、Topic信息 fans_* Cluster1，fans_topic wash_* Cluster1，wash_topic ac_* Cluster2, ac_topic …… …… 根据企业、品类、设备型号、消息类型等信息，可以根据流量情况动态扩展处理集群

38. 消息之坑 — 重复消息、缓存及影子生产者时序性设备上报有严格的时序性要求，否则会导致状态错乱 key did value message 1.使用did作为Kafka消息的Key，确保同个设备消息顺序写入同一个分片共享缓存大量的设备会共享基础信息，导致redis⻓时间在较高水位 p0 p1 p2 p3 p4 p5 重复消息部分设备大量重复上报，基于共享缓存等机制过滤成本巨大 2.每个处理节点只处理固定范围的DID，可以在做本地快速缓存及重复消息过滤消息处理服务A 消息处理服务B 重复消息过滤重复消息过滤本地缓存本地缓存 3.共享业务缓存，避免再平衡或重启大量请求拥入业务服务

39. 消息之坑 — 改造效果网络带宽 Redis CPU Redis QPS 44% 56% 60.9% MySQL CPU 65%

40. 05 架构之坑

41. 架构之坑 — 云端架构迭代过程 2013 2018 2020 2021 2022 设备接入微服务治理云原生、分布式运行时提供给各事业部设备接入、逐步废弃各业务领域混用的平台服务分层、云原生化改消息处理、上报及控制的核 Dubbo、Spring Cloud、造、多云能力构建，基于分心链路服务，业务应用独立 SLB、HAProxy等各种参布式运行时框架进一步简化差不⻬的治理技术，统一基业务开发复杂度及可观测性平台业务融合事业部所有独立业务的App 融合为一个美的美居，IoT 平台统一承接所有设备接入、控制、上报，以及C端用户的所有业务于Consul+Fabio的边⻋服务改造，全链路跟踪、 CMDB建设、进一步完善监控系统共享数据、缓存改造改造所有服务依赖统一数据库及缓存的严重问题，在保证 App版本快速迭代的情况下，持续了近一年多的时间改造完成，SLA得到大幅度提升

42. 架构之坑 — 为何选用 consul+fabio? registry register subscribe/notify invoke consumer svc provider svc 跨架构服务发现通讯协议差异 service registry micro svc invoke api gateway micro svc 强依赖注入 config server monitor invoke HAProxy Nginx micro svc request svc invoke HAProxy Nginx invoke invoke micro svc micro svc micro svc SLB 异构语言适配人工维护成本、⻛险滥用中间件 micro svc micro svc request svc invoke invoke micro svc SLB micro svc

43. 架构之坑 — Consul+fabio register/unregister register/unregister register/unregister 服务节点服务节点服务节点 service A service B service B invoke service B health check health check load balancing health check

44. 架构之坑 — 改造过程 01 统一服务接口 02 新旧治理并存 03 流量切换 04 移除旧框架应用服务屏弃所有框架特有接口，提前搭建Consul服务集群，同时逐步切换服务配置（以及部分代所有流量切换完成，将旧治理框架服务间仅允许HTTP、GRPC两类对将服务节点进行边⻋化部署码），将调用地址切换成GRPC、中的注册、中间件资源等进行清外暴露接口，标准化消息总线架（consul client、fabio）,现有服务 HTTP的本地调用。同时监控链路理，确保所有业务基于同一框架。构，异步事件统一使用消息总线解迭代增加Consul的服务注册（基流量变化，确保旧链路没有流量。耦于CMDB的管理程序），此阶段应用无须变更。

45. 架构之坑 — 新的问题治理能力欠缺可观测性不足可替代性缺失配置能力集成如：流控、熔断、安全如：全链路、Metrics、基于Consul、fabio，无法较 Consul虽然提供了配置能 Logging 轻易的切换为其它治理框架力，业务侧则需要集成状态存储可扩展性事件绑定资源隔离性服务无状态改造后，需要中间 Fabio缺失二次开发能力，实现基于EDA架构的服务，都需要状态存储，只能依赖中间件对请求的处理、过滤等能力需要编写MQ的生产及消费者，依赖在多环境，如：沙箱、生产灰借助外部服务耦合性较强 Consul SDK 度验证环境隔离等

46. 架构之坑 — 分布式运行时（DAPR）成熟度不足，仍然在高速迭代中组件接口抽象对老旧服务迁移有障碍单体应用设计，存在一定⻛险

47. 架构之坑 — 业务分层与 FaaS FaaS运行框架业务接口触发器美的美居函数运行集群 FaaS管理资源调度主动请求业务接口小程序业务中台网关业务接口网关流量灰度事件驱动调试定时任务运行环境（函数加载、运行、卸载、更新、沙箱……）、平台资源接口封装业务接口屏端应用监控事件通用能力：鉴权、灰度、缓存、配置、存储、平台能力调用、消息及事件 IoT平台服务API仓库服务管理接口管理 IoT平台通用服务部署开发者平台 FaaS函数开发业务研发

48. 如无必要，勿增实体《奥卡姆剃刀》

49.

50.