G行大数据应用平台批量调度优化实践

G 行大数据应用平台批量调度优化实践

摘要

G行在金融数字化转型中，基于开源DolphinScheduler自主研发了大数据批量调度系统，解决了Oozie在大规模任务并发下的性能瓶颈。通过架构重构、多租户部署改造、前端访问控制、调度系统管理优化等实践，提升了批量任务的调度效率和管理水平。系统支持动态扩展、任务容错和高可用性，日均调度数万任务，为金融行业大数据调度提供了可借鉴的解决方案。