爱奇艺微服务架构

1.

2. 爱奇艺微服务架构周晓军 2021-05-20

3. 目录 • 概览 • 微服务开发体系 • 微服务可观测性体系 • 微服务治理体系 • 未来规划

4. 爱奇艺微服务体系概览研发体系 • Dubbo / Spring Cloud • Sentinel 服务治理 • 爱奇艺分布式应用服务（QDAS）基础设施 • API 网关 • 注册中心：ZooKeeper/Nacos • 可观测性：全链路监控平台 • 配置管理：配置中心 • 混沌工程/故障演练

5. 目录 • 概览 • 微服务开发体系 • 微服务可观测性体系 • 微服务治理体系 • 未来规划

6. 微服务研发体系核心开发框架 Spring Cloud Dubbo Feign Dubbo 通信/负载均衡/序列化 HTTP客户端 Dubbo Spring Boot Ribbon Dubbo-IQIYI Zuul/Spring Cloud Gateway 负载均衡内部扩展服务网关 Sentinel 熔断降级 Nacos/ZooKeeper 服务发现 Config 配置管理 • 通信：Dubbo / Spring Cloud • 注册中心：Nacos • 熔断/限流：Sentinel • 配置管理：配置中心（基于携程Apollo）

7. Dubbo SDK扩展内部基础设施适配区域就近路由非健康实例隔离流量治理安全机制

8. Dubbo SDK扩展 – 非健康实例隔离背景 • 服务中可能存在少数节点故障，导致整体服务质量不稳定（错误率上升/延时产生抖动）技术方案 • 客户端统计服务实例调用成功率等指标，判断其是否健康 • 对不健康服务实例隔离一段时间，不再向其发送请求 • 服务实例如果被多次隔离，隔离的时间窗口将延长健康检查策略 • 连续调用失败 / 有大量未返回请求（需手动设阈值） • 支持用户基于SPI机制自定义扩展兜底机制 • 不健康的比例超过一定阈值，则忽略隔离的策略，避免集中的流量将剩余实例打垮

9. Dubbo SDK扩展 – 就近路由基本流程故障场景 • Provider/Consumer启动时获取自身所在的地域信息 • Consumer定期对服务端进行健康检查 • Provider注册时在URL中带上地域信息 • 当本地域健康的Provider实例低于设定比例时，会在所 • Consumer通过扩展的路由规则，优先就近访问有的Provider实例中进行负载均衡

10. Dubbo SDK扩展 – 流量治理原理 • 利用注册信息中的元数据将provider/consumer划分子集 • 针对每个consumer子集配置目标流量规则 • 在目标流量规则中针对各个provider子集分配流量比例应用场景 • 灰度发布过程动态调整新旧版本流量 • 跨机房流量分配和动态调度

11. 基于Sentinel的熔断/限流微服务架构的特点 • 上下游依赖多 • 网络通信多几个主要风险 • • • 来自上游 • 突发流量 • 热点参数来自下游 • 依赖不可用 • 响应时间变慢来自网络 • 网络不通 • 网络延时增大

12. Sentinel SDK增强 • 完善与Dubbo的集成 • 使用方式简化（熔断/限流/黑白名单） • 支持group/version • 支持热点参数限流 • 监控持久化 • 内部配置中心对接热点参数限流监控数据持久化

13. Sentinel Dashboard改造查询配置中心应用关联 Sentinel Dashboard Sentinel Dashboard Sentinel Dashboard • 服务治理平台规则配置 • 发现获取资源簇点链路配置中心注册规则动态下发 Sentinel SDK 应用微服务agent 注册中心无状态化，实现集群化部署 • 规则对接配置中心 • 去除原有注册和实例管理机制内部微服务体系整合 • 通过微服务agent实现注册、指标采集 • 服务治理平台集成管理配置中心关联

14. 目录 • 概览 • 微服务开发体系 • 微服务可观测性体系 • 微服务治理体系 • 未来规划

15. 可观测性体系概览指标监控 • 黄金指标（QPS/延时/错误） • 业务自定义指标 • JVM指标 • 运行环境基础指标（CPU/内存）日志分析 • ERROR日志数量 • 异常模式分析链路追踪 • 拓扑分析 • 调用关系指标

16. 爱奇艺全链路监控平台容量预估全面异常检测链路监控核心指标、链路追踪，日志监控全覆盖指标监控日志监控业务拓扑出入口流量分析监控大盘业务日志汇总调用检索程序异常分析告警策略用户行为分析用户反馈关联无侵入式埋点框架便捷数据汇集 Kafka 开箱即用，无基础设施维护成本实时计算引擎指标监控 Flink 存储资源基础平台高性能链路监控基础资源日志采集监控告警 Elasticsearch HBase Prometheus ETL HiGraph Druid 计算/存储可横向扩展，日均日志处理量200亿+ 日志聚合

17. 链路追踪 – 背景与原理调用链（Trace）：由不同应用产生的一系列调用（Span）组成的有向无环图（DAG） TraceID：给每个调用链分配一个全局唯一的 ID （称为 TraceID），并在调用链上的每次调用都带上这个 ID，从而将所有子调用关联在一起 SpanID：给每个调用分配一个ID (称为 SpanID)，并且把这个 ID 传递给子调用，子调用根据 ParentSpanID 生成自己的 SpanID。从而确定调用的先后次序和父子关系

18. 链路追踪 – 技术方案埋点：基于skywalking agent二次开发 • 开源插件改进 • 支持内部自研组件 • 支持head-based采样策略 • 兼容B3传播协议 • 支持将调用链数据存储至日志数据分析 • Flink 数据存储 • 时序指标：Druid • 调用链数据：ES + HBase • 拓扑：HiGraph（图数据库）

19. 链路追踪 – 应对海量数据挑战问题 • 数据量变大，ES集群难以维护 • 写入/查询效率降低优化思路 • 异常调用链（存在错误或者耗时较高的环节）在排障等方面价值更高，应当进行全量存储，正常的调用链可以采样存储优化效果 • ES每日写入量降至1T以内， HBase存储量降低至原先的15% 以内 • 单个调用链检索延时<1s

20. 指标监控 – 整体方案 • 基于字节码增强技术实现 • 多维度监控 • • • • • 服务地区实例接口返回码 • 支持多种框架 • • • • Dubbo Spring MVC Httpclient …

21. 目录 • 概览 • 微服务开发体系 • 微服务可观测性体系 • 微服务治理体系 • 未来规划

22. 服务治理体系云资源治理微服务治理 • 云资源管理服务注册发现虚拟机，Mesos，K8S，云存储，数据库，中间件，消息MQ，负载均衡，网关… Nacos，Consul，Zookeeper 流量管理 • 云资源接入灰度发布，流量预热，熔断限流，流量染色，标签路由 SDK，Proxy，Sidecar CMDB，配置中心… 框架支持 • 运维和成本中心 Dubbo, Spring Cloud, 服务网格（Istio）自动化，白屏化，操作审计，权限隔离预算管理，项目成本统计，容量管理认证授权 RBAC，ABAC.. 应用治理 CI 流程构建发布, 自动部署，代码管理可观测性日志服务，全链路追踪，监控报警混沌工程故障攻击，攻防演练，评分体系应用模型应用关联资源CMDB，标准应用模型服务治理成熟度评价标准（Service Maturity Model Index--SMMI） • 维度指标：成本管理，运维效率，安全，高可用，代码管理，开发流程，测试覆盖，上线灰度，环境隔离…

23. 爱奇艺分布式应用服务（QDAS）应用接入 • 支持源码打包镜像，部署到Mesos/K8S • 支持导入已有的Mesos/K8S应用微服务管理 • Dubbo/Sentinel/Spring Cloud传统微服务管理 • Istio服务网格管理 • 实现产品化界面，简化用户学习操作成本应用治理 • HTTP API接口管理（基于Swagger注解） • 日志采集，全链路监控集成 • 服务市场

24. 服务治理 – 程序构建与发布代码仓库 QCD流水线（基于jekins）镜像仓库 K8S集群 QAE— QIYI App Engine （Mesos集群）构建流水线镜像部署到K8S

25. 服务治理 – 注册实例管理

26. 服务治理 – 灰度发布灰度流程配置灰度流量比例灰度策略实时生效实时观察灰度对比流量监控

27. 可观测性能力集成指标监控日志接入服务拓扑日志检索

28. 服务市场接口文档管理 • 技术选型：Swagger + yapi • 文档展示 / 数据同步 • 接口mock 接口管理 • 一致性校验 • Sentinel黑白名单集成

29. 探索服务网格体系解决问题 • 提升开发效率 • SDK升级推动困难 • 多语言支持技术实现 • Istio + Envoy • 基于Primary+ Remote实现统一控制面 • 基于QDAS屏蔽Istio复杂性 • 灰度发布 • 基于网关的服务暴露 • 负载均衡 • 超时/重试 • 故障实例隔离 • 故障注入

30. 运行规模 10000+ 线上实例数 200+ > 200w/s Dubbo接口数链路数据分析峰值 40+ 社区补丁提交

31. 未来规划研发体系 Spring Cloud体系支持服务网格技术进一步完善服务治理流量镜像集群限流开发者支持项目脚手架在线调试

32.