兴盛优选太阳神调度系统实践

兴盛优选太阳神调度系统实践

摘要

调度系统是以流量控制和负载均衡为核心，通过监控集群的运行情况将任务分发给负载较低的worker。系统还提供了简化任务创建的算子，支持多种调度算子，以及安全权限管控。此外，系统还具备元数据管理功能，统一管理各种数据源，并提供适配器方便开发新的数据库。总体而言，太阳神系统实现了大数据任务的统一管理，已经在多个系统中得到直接或间接集成，支持大量的任务和调度量。系统仍有待进一步完善，欢迎用户留言讨论。