走向现代化数据分析架构：趋势与挑战

1.

2.

3. 走向现代化数据分析架构：趋势与挑战汪源 2022/09/26

4. About Me 2003 2006 2014 2022 国产数据库网易DDB 网易猛犸网易有数 OSCAR

5. 冷技术热思考我们为什么做NDH 协同决策—一种分析的新思路数据有机体聊聊PingCAP和HTAP 细品中台从数据中台到全链路数据生产力数字技术名词解释—数据湖：现代分析型数阿里的数据中台正在背离初心据架构的核心数据基础设施创新如火如荼，主要方向有哪些（上）（下）

6. 数据治理数据仓库 OLAP与多维分析 BI 数据挖掘 1990年代方法论的黄金时代主数据管理

7. 近20年数据湖体系存储计算数据格式 Catalog HDFS和对象存储 MapReduce Parquet HMS YARN/K8s SQL引擎 Impala、SparkSQL、 Presto

8. 近20年流计算

9. 近20年机器学习应用个性化推荐搜索精准广告风控量化交易

10. 热词迭出眼花缭乱 Lakehouse ELT Data Fabric Semantic Layer 数据中台流批一体 AutoETL Data Mesh Metric Layer DataOps Headless BI 数据虚拟化 NoETL 反向ETL

11. 现代数据分析技术三大主题统一的基础设施统一的中间层统一的数据资产

12. 分析引擎表服务统一的基础设施：流式湖仓 Spark、Flink、Impala、Presto Arctic Hudi Delta Lake 表格式 Iceberg 缓存加速 Alluxio/JuiceFS/CurveFS 文件格式 Parquet 存储 HDFS/对象存储 Arctic Iceberg 元数据

13. 数据 Iceberg 元数据 ACID Time Travel 分布式元数据多级索引高级过滤 Schema演化 Partition演化

14. 流批一体 Upsert by PK Arctic Self-optimized 兼容 Hive 和 Iceberg

15. Iceberg+Arctic的核心地位 Hive Spark Impala Trino 分析引擎表服务表格式 Parquet/HMS Spark、Flink、Impala、Presto Arctic Iceberg 缓存加速 HDFS S3 OSS Hudi Delta Lake Alluxio/JuiceFS/CurveFS 文件格式 Parquet 存储 HDFS/对象存储新一代的Parquet+HMS，统一的访问接口 Arctic Iceberg 元数据

16. 统一基础设施解决的问题流批一体湖仓一体标准格式存算分离

17. 无所不在的ETL 图片来自Aloudata资料

18. BI a BI b BI c 展现展现展现交互交互交互数据仓库理想分散的计算逻辑 BI a BI b BI c 展现展现展现交互交互交互逻辑逻辑逻辑数据仓库现实

19. 中国方案：数据中台 BI a BI b BI c 展现展现展现交互交互交互数据服务指标层数据仓库数据中台数据治理

20. 国际方案 Semantic Layer Headless BI kyvos Metric Layer

21. Headless BI 图片来自Cube官网

22. 我们的方案：开发治理一体化

23. BI a Neckless BI 统一的中间层统一的模型、指标、计算逻辑与口径 BI b BI c 展现展现展现交互交互交互数据服务 Headless BI 建模（指标）、权限、加速、服务开发治理事前事中事后持续治理一体化数据仓库统一的中间层

24. ETL和HTAP? 因为分析需求和源数据的模型不匹配，ETL永远不可能被消除，只能被转移和隐藏 ETL可以实现自动化，即AutoETL，NoETL也是AutoETL 多源数据融合、ETL和分析查询不需要HTAP

25. 统一的数据资产看不懂找不到信不过管不牢

26. Data Fabric Data Fabric是一种用于实现数据整合利用的架构思想或设计理念（Design Concept），强调元数据集中，数据则可以通过数据虚拟化、ETL等各种风格处理数据仓库/数据中台数据湖强调数据的集中强调数据的集中强调数据的预加工强调数据不做预加工 Data Fabric 强调元数据的集中

27. 数据源连接数据虚拟化 Data Fabric的典型能力主动元数据逻辑数据湖

28. 现代数据分析技术三大主题统一的基础设施可支持实时数据更新与消费、开放、低成本的流式湖仓基础设施统一的中间层统一的数据资产统一的模型、指标、计算逻企业全域数据资产的高效整辑与口径合与管理事前事中事后持续治理兼容各种风格的数据处理技术

29. 冷技术热思考 THANKS

30.

31.