OPPO大数据诊断平台Compass Flink版本开源

原创 OPPO数智技术安第斯智能云

背景

继OPPO大数据平台开源基于Spark诊断产品Compass（代号“罗盘”）之后，我们又持续迭代开发集成了实时Flink引擎诊断，可用于诊断Flink作业的资源使用情况以及异常问题。在资源诊断方面，Compass给出Flink作业的建议资源参数, 可以缩容或扩容，让作业达到合理的资源使用状态；在异常问题诊断方面，定位Flink作业的运行异常问题，给出改善建议。Compass Flink版本不仅集成DolphinScheduler调度器，即可诊断DolphinScheduler上运行的Flink实时作业，还可以用于可自定义诊断自动上报Flink作业。我们希望通过Compass回馈开源社区，也希望更多人参与进来，共同解决任务诊断的痛点和难题。

核心功能

Compass Flink版本支持以下功能和特性：

非侵入式，即时诊断，无需修改已有的调度平台，即可体验诊断效果。
支持任意调度平台，例如 DolphinScheduler、自研平台等。
支持异常诊断和资源诊断，能够给出合理的资源配置建议值。

Compass Flink版已支持诊断类型概述：

注意：JM即为Flink JobManager，TM即为Flink TaskManager。

技术架构

Compass主要由同步调度器任务元数据模块、同步Yarn/Spark/Flink元数据模块、关联调度器/引擎元数据模块、调度器任务异常检测模块，引擎层异常检测模块，Portal 展示模块组成。

▎3.1 整体架构图

整体架构分 3 层：

第一层为对接外部系统，包括调度器、Yarn、HistoryServer、HDFS 等系统，同步元数据、集群状态、运行环境状态、监控指标、日志等到诊断系统分析；
第二层为架构层，包括数据采集、元数据关联&模型标准化、异常检测、诊断 Portal 模块；
第三层为基础组件层，包括 MySQL、Elasticsearch、Kafka、Redis 等组件。

▎3.2 Flink作业诊断流程

（1）元数据采集

采用CDC技术从调度器实时同步元数据到Compass系统，实时同步Flink Application元数据，另外用户也可通过系统接口或者Kafka消息队列渠道自主上报元数据到Compass系统；

（2）作业诊断

系统中的元数据通过Workflow, 采用启发式算法，计算各个规则函数，函数计算数据metric指标从Prometheus系统中获取，结合作业的元数据，最终Compass系统给出作业多维度诊断结果；

（3）业务视图

业务视图模块展示作业的诊断结果，包含诊断报告概览，诊断列表，诊断详情等展示维度。

功能介绍

▎4.1 作业列表

作业列表显示Flink作业诊断结果列表，记录包含作业的工作流、实例、项目名称、作业名、诊断类型等元数据，同时给出作业的诊断建议，作业可以根据建议进行改善，例如（TaskManager数量在100以内，降低JobManager内存到1024MB，作业JobManager的内存变化：2048MB->1024MB）；作业的诊断类型是多维度的，例如“JM内存优化“、“CPU利用率高”可同时存在，源于作业有多个诊断问题。点击“查看详情”可以跳转到作业的诊断报告。

▎4.2 诊断报告

任务详情展示作业诊断诊断结果具体情况，首先给出作业的诊断类型，其次基本信息包含：任务流、实例、作业名、ApplicationId、集群名称等；资源使用信息包含：并行度、TaskManager slot，TaskManager Core，TaskManager内存，JobManager内存等；运行参数建议：并行度，slot，core，内存等资源的缩减或者扩容调整。

▎4.3 报告总览