汽车之家基于Apache Flink的跨数据库实时物化视图探索

汽车之家基于 Apache Flink 的跨数据库实时物化视图探索

摘要

物化视图这一使用的功能想必大家都不陌生，我们可以通过使用物化视图，将预先设定好的复杂SQL逻辑，以增量迭代的形式实时（按照事务地）更新结果集，从而通过查询结果集来避免每次查询复杂的开销，从而节省时间与计算资源。

事实上，很多数据库系统和OLAP引擎都不同程度地支持了物化视图。另一方面，Streaming SQL本身就和物化视图有着很深的联系，那么基于Apche Flink（下称Flink） SQL去做一套实时物化视图系统是一件十分自然而然的事情了。

本文介绍了汽车之家（下称之家）在基于Flink的实时物化视图的一些实践经验与探索，并尝试让用户直接以批处理SQL的思路开发Flink Streaming SQL 任务。希望能给大家带来一些启发，共同探索这一领域。