Flink 实时计算平台在知乎的演进

Flink 实时计算平台在知乎的演进

摘要

知乎引入Flink作为实时计算引擎，构建了实时计算平台Skytree。平台支持业务的日志落地、实时数仓、广告实时特征等需求。为推广平台，引入了Flink SQL并上线了Mipha。Mipha基于Flink SQL Gateway构建，引入了Mipha MetaStore作为统一的元数据管理组件。初版平台部署在Kubernetes上，支持Flink Jar任务、监控和报警机制。然而，平台存在管理问题，如任务源代码丢失。因此，决定通过重新设计整个平台，面向SQL，推出实时计算平台2.0 Mipha。