OPPO大数据离线任务调度系统OFLOW

OPPO 大数据离线任务调度系统 OFLOW

摘要

在整个大数据体系中，在原始数据被采集之后，需要使用各种逻辑进行整合和计算之后才能输出实际有效的数据，才能最终用于商业目的，实现大数据的价值。在整个处理流程中，无论是抽取、转换、装载（ETL）的这些过程，还是数据用户分析处理过程，都是需要包含众多的处理任务，而且这些任务都不是孤立的，而是存在相互依赖和约束关系的。如何高效的调度和管理这些任务是非常关键的，影响到各个流程中的数据的及时性和准确性。在这个过程中任务的高效管理和调度是非常关键的，会影响到各个流程中的数据的及时性和准确性。