快手微服务架构体系实践

1. 快手微服务架构体系实践魏诗白微服务架构师

2.

3. 发展历程简述 1. 流量治理 1. 自研RPC 2. 故障演练 2. 自研配置中心 3. 流量录制 3. 精细化治理 ZK时代 KESS诞生体系初成 2017前 2017 2019 成熟架构 2021

4. 快手微服务现状数万服务数百万服务实例数十亿QPS

5. KESS STACK : 组织角度下的微服务架构微服务平台 KESS-NAMING KESS-META 稳定性保障微服务框架 KESS-CONF KESS-RPC 容错框架 KsBoot 中间件SDK 可观测性 Ktrace KAlert RPC-Monitor 服务网格 KLog Gaea运维面 Envoy数据面 xDS适配层链路加固流量治理全链路压测流量录制回放混沌工程流量调度

6. 微服务治理体系建设思路组织架构体系架构

7. 微服务治理体系建设思路领域抽象建设思路重点突破阶段一阶段二阶段三

8. 第一阶段：核心逻辑领域抽象命名体系可观测性配置管理服务治理流量治理高可用服务安全

9. 第一阶段：逻辑域的核心能力命名规范服务配置容错机制认证机制就绪检查指标采集服务注册中间件配置路由调度授权机制健康检查日志采集服务发现平台配置负载均衡传输加密平滑上下线 Tracing 灰度机制参数校验服务降级报警治理机房容灾性能诊断元信息管理流量标记弹性伸缩命名域配置域流量域安全域高可用域监控域

10. 第一阶段：软件生命周期的能力交付

11. 第一阶段：服务治理体系 • 能力层：6个垂直领域 • 载体层：实现单元 • 基础设施层：双向作用

12. 第二阶段：分层建设与重点发展重点问题 1. 2. 3. 问题域 1. 2. 1. 2. 逻辑域流量治理功能成熟度不足精细化治理缺失路由调度能力不足，缺少如全链路灰度等高阶能力流量域中间件/服务命名混沌，多平台打通困难注册中心不统一命名域缺少自动化机房级流量容灾能力 K8S/服务治理健康检查机制不统一高可用域

13. 第二阶段：分层建设与重点发展上层领域安全域元信息查询下层领域命名域流量域统一命名命名域高可用域配置管理配置域运行时指标监控域

14. 第二阶段：分层建设与重点发展高阶能力全链路灰度单元化建设链路加固中坚能力流量治理高可用建设安全建设基石能力命名体系配置管理元信息治理 … 可观测性建设

15. 第三阶段：重点领域建设流量域高可用域

16. 第三阶段：流量域建设 – 体系总览

17. 第三阶段：流量域建设 – 重点方向服务容错体系熔断限流服务降级超时治理依赖治理流量调度体系过载保护区域感知能力分组隔离能力负载均衡 CPU动态调权标签路由能力

18. 第三阶段：流量域建设 – 服务容错核心问题主要困难方法论 • 历史包袱重 • 能力收敛/统一难 • 分阶段建设 • 多语言问题 • 治理成本高 • 工具化建设 • 业务工况多 • SOP化建设

19. 第三阶段：流量域建设 – 服务容错全景图容错框架诞生流量治理平台能力下沉引入报警体系开启网格建设链路加固产品诞生 2019.7 2019.12 2020.04 2020.08 2020.10 2021.02 能力统一/下沉阶段产品化阶段引入监控指标 2021.04 SOP化建设常态化建设 2021.10 2022.04 体系化阶段

20. 第三阶段：流量域建设 – 服务容错链路加固系统

21. 第三阶段：流量域建设 – 服务容错建设成果业务价值 • 覆盖公司80%业务场景 • 降低业务在稳定性投入成本90% • 成为稳定性加固标准方案 • 年化故障规避次数100+

22. 第三阶段：流量域建设 – 流量调度核心问题主要困难方法论 • 早期功能单一 • 替换成本高 • 抽象路由模型 • 环境层级混乱 • 特殊/错误使用较多 • 统一环境标准 • 单机流量不均衡 • 分层调度治理

23. 第三阶段：流量域建设 – 流量调度全景图路由模型抽象路由调度平台统一流量标记透传机制 2021.04 2021.08 2021.09 基础架构阶段静态分组路由自适应区域感知路由动态调权机制 2021.10 2021.11 2021.12 能力沉淀阶段全链路灰度 2022.02 全链路分组路由 2022.04 成熟化演进阶段单元化调度 2023.x

24. 第三阶段：流量域建设 – 流量调度自适应区域感知路由过去 AZ - 1 X% 现在 AZ - 2 100-X% 入口应用A AZ - 1 • 计算同Region不 AZ - 2 X% 同AZ的实例数比入口应用A • 主被调同AZ健康入口应用A 实例比区域计算应用B 应用B 应用C 应用C 应用B 应用B 应用C 应用C

25. 第三阶段：流量域建设 – 流量调度 CPU动态调权指标处理系统调权系统指标采集业务进程 CPU上报 Redis 数据存储数据过滤器 Kafka消费者权重调整权重计算器注册中心权重调整器

26. 第三阶段：流量域建设 – 流量调度成本收益多租户隔离业务价值机房容灾减少变更故障

27. 第三阶段：高可用域建设 – 领域总览单实例故障自愈服务高可用建设机房容灾建设 K8S健康检查无损上下线中间件切流管控 RPC健康检查弹性伸缩跨机房调度离群实例摘除混沌工程服务降级全链路压测

28. 第三阶段：高可用域建设全景图弹性伸缩 RPC健康检查机房容灾调度无损上下线 2020.01 2021.04 2021.12 2022.04 基础架构阶段 K8S统一健康检查机制离群实例摘除单元化建设 2022.05 2022.06 2023.X 能力沉淀阶段机房级演练 2023.X 成熟化演进阶段

29. 第三阶段：高可用域建设单实例故障自愈解决方案

30. 第三阶段：高可用域建设 RPC健康检查机制客户端服务端被动检查接口A 接口B 用户请求接口C Metric统计业务接口恐慌判断恐慌机制实例状态更新状态线程池状态 Load状态 CPU状态 IO状态获取状态 HC请求主动检查 HC接口

31. 第三阶段：高可用域建设离群实例摘除

32. 未来1-2年领域规划大规模化精细化成熟化 •历史包袱清理 •核心能力升级 •多语言对齐 •多粒度流量治理 •场景化覆盖 •单元化调度 •产品力提升

33.

34. 第三阶段：流量域建设 - 路由调度统一流量标识透传机制注入上下文流量类型入口服务 K-V标识传递透传透传标准SDK 多语言支持透传读取上下文 K-V获取流量识别监控埋点规则定义透传

35. 第三阶段：流量域建设 - 路由调度路由模型抽象 • • 基本规则 • 优先级机制 • 回滚机制 • 多级回落机制路由表路由规则1 匹配内置规则 • 分组路由 • Locality-Aware路由 • 直连路由路由规则2 匹配路由规则3 路由规则链

36. 第三阶段：流量域建设 - 路由调度核心流量调度能力动态调权 AZ级调度分组调度

37. 微服务平台基础系统服务发现服务注册元信息管理配置中心服务查询服务管理服务创建权限管理服务登记资源查询映射关系统一命名接口管理 GIT CICD 服务注册发现领域监控告警领域流量治理领域

38. 微服务框架服务发现配置中心元信息中心服务注册服务预热优雅停机路由调度负载均衡服务治理访问控制配额管理过载保护可观测性健康检查元信息接口可观测性服务端功能客户端功能熔断器限流器重试器隔板集中式限流自适应限流 Metric工具 KSF框架在线调试协议转发元信息查询事件推送 LB-Server KESS-RPC ADMIN

39. 可观测性 Tracing Metric Perf/Clickhouse RPC-Monitor TSDB Promtheus Logging Klog Access-log Sentry Trace-Log KTrace

40. 稳定性保障

41. 服务网格数据面控制面运维面 Gaea-Agent xDS-Server Gaea-Portal 托管 Envoy 订阅配置 UDS KESS-CONF SDK POD 订阅路由 KESS-Registry 配置下发 CICD 可观测性运行大盘热部署

42.

43. 快手微服务现状研发效能稳定性保障运维成本 • 微服务框架 • 链路加固 • 可观测性 • 微服务平台 • 全链路压测 • 报警推送 • 统一命名 • 自动化测试 • 流量容灾 • 多语言统一 • 故障演练