携程酒店基于血缘元数据的数据流程优化实践

携程酒店基于血缘元数据的数据流程优化实践

摘要

通过减少跨层级重复依赖、合并冗余分层和优化任务，可以提升数据结果的复用能力和任务的效率。在本方案中，酒店订单明细宽表的产出时间减少了45%，任务数量减少了32%，可控上游依赖任务数量减少了35%，关键链路调度层级减少了5层。未来可以进一步优化跨多层判断重复依赖、定位多Job中重复/相似逻辑和多数据流程的优化。