「数仓」早已经不是原来的「数仓」了

「数仓」早已经不是原来的「数仓」了

摘要

本文讨论了Data Engineering中的数仓概念、OLAP引擎的作用以及数据湖的原因。数仓提供了数据集中存储和仓库建模的能力，用于描述业务并为分析决策提供服务。OLAP引擎是数仓的加速层，解决了底层基础设施的实时写入和查询速度问题。在选择OLAP引擎和HDFS存储时，需要考虑仓库建模和分析需求，以及OLAP引擎的能力特性。数据湖是为了统一存储半结构化和非结构化数据，并通过各种Table Format实现行列存储和原子操作的能力。