如何快速实现 Data Fabric 数据架构

1. 如何快速实现 Data Fabric 数据架构 Michael Liu 首席架构师

2.

3. • 现代数据架构的发展趋势 • 如何快速实现 Data Fabric 数据架构 • Denodo 核心能力 • Denodo 场景及案例 • Demo • Q&A 演示

4. 现代数据架构的发展趋势为什么IT领先的企业越来越重视 Data Fabric

5. 2022 塑造数字业务未来的12大趋势趋势从新冠疫情、动荡政局到气候变化，企业机构不断遭受意外事件的冲击。但利用数字业务在 CEO追求三个目标：增长、数字化和运营效率颠覆环境中繁荣成长、脱颖而出的思路却未曾改变，始终明确印刻在人们的脑海中。数据编织 (Data Fabric) IT领导者需要为数字业务提供技术支持，承担相应的责任，并通过使用能够成倍增加IT力量的创新趋势，加速增长，战略性推动企业机构进步。隐私增强计算这些创新趋势将能够： • 随时随地为员工和设备提供可靠的数字连接 • 随时随地为快速扩展数字创意提供解决方案 • 提供创新能力，加速业务增长网络安全网格云原生平台组装式应用决策智能超级自动化 AI 工程化分布式企业这些趋势彼此成就，相辅相成。若结合使用，Gartner 2022年重要战略技术趋势将助您协助 CEO完成优先任务，达到扩大规模、适应变化和加速增长的预期目标。 David Groombridge Gartner基础设施和通讯服务副总裁分析师全面体验自治系统生成式 AI

6. 现代企业数字化转型用户花95%的时间分析数据，花5%的时间争论数据用户花80%的时间分析数据，花20%的时间争论数据大多数组织用户花50%的时间分析数据，花50%的时间争论数据用户花20%的时间分析数据，花80%的时间争论数据用户花5%的时间分析数据，95%的时间争论数据系统化基本型    对数据的信任有限纯数据质量数据混乱渴望改变对数据的信任仍然有限，但是有了预期部分提高了数据质量理清数据所有权和数据血统            差异化机会主义型  转型   数据驱动决策、增长和战略数据是自定义使用的不断的改进和实验数据中的隐式信任数据是组织文化的一部分决策主要是由数据决定的大大提高了人们对跨组织数据的信任度整个组织的数据质量都得到了改善可说明数据所有权和数据使用情况人们越来越多地使用数据来进行决策 6

7. 业务系统导致数据孤岛的形成数据消费层 ERP 财务 CR M 客户关系 Huma n resourc e 供应链 7

8. 构建数据仓库解决因业务而产生的数据孤岛数据消费层财务客户关系数据仓库供应链 8

9. 数据平台级孤岛的产生数据消费层 B I 数据源 Data wareho 数据仓库商务智能 Data science 数据源数据湖 AI / ML Data Service 数据源数据中台数据服务 9

10. 2022：Data Fabric – 企业数据架构的发展方向数据架构的变革， Data Fabric（数据编织）架构的兴起，已经成为全球最新的架构设计趋势。数据仓库 2000 数据仓库数据湖 2015 数据湖基于云的湖仓架构 2019 湖仓一体 10

11. 2022：Data Fabric – 企业数据架构的发展方向数据架构的变革， Data Fabric（数据编织）架构的兴起，已经成为全球最新的架构设计趋势。数据仓库 2000 数据湖 2015 基于云的湖仓架构 2019 Data Fabric 数据仓库数据湖湖仓一体 11

12. 收集数据与连接数据的平衡收集数据在解决未知数据和未知问题时，存在严重的效率问题，分析结果的时效性和准确性也得不到保证。元数据使用场景（运营、分析、多样化）数据资产类型数据, SQL 查询, 报告, 建议, 仪表板,数据服务,KPI, 虚拟数据资产基础设施 RESTRICTED DISTRIBUTION 12 © 2021 Gartner, Inc. and/or its affiliates. All rights reserved. 12

13. 2 Data Fabric 数据架构的好处实现数据存储计算物理分散，数据应用管理逻辑集中。挑战数据虚拟化技术业务价值消除数据孤岛实时互通逻辑数据分离，异构数据整合统一的数据模型中提升数据时效性，降低开发成本大幅减少数据移动复制管理集中物理分散减少复制，节省资源降本增效大幅减少数据管理工作集中管理跨平台的元数据和主数据快速提供多种数据服务一键发布多种数据服务，Rest API、 SOAP WS 异构数据标准治理接入异构数据扁平化、标准化治理，采用集中式数据安全治理接入策略发现痛点和待做事项！单独确定目标和虚拟化概念的实际匹配度提升业务自服务，释放数据价值提高管理敏捷性，降低复杂度。根据业务价值调整解决方案，充分发挥虚拟化的业务价值采取行动！ 13

14. 如何快速实现 Data Fabric 架构了解 Denodo

15. Denodo 数据管理领导者始于 1999 年，以数据虚拟化技术为基础，长期专注于数据集成、管理和交付 DENODO 办事处和员工业务遍布全球 – 在 20 个国家/地区设有 25 个办事处。新办事处（2021 年） – 荷兰、比利时、瑞典、韩国。客户和合作伙伴 1000 多家客户，包括众多财富 500 强和全球 2000 强公司，遍布各个主要行业。全球 300 多家积极参与的合作伙伴。领导地位领导者： Gartner 2021 年数据集成工具魔力象限领导者： Forrester 2020 Wave – 企业数据编织，2020 年第 2 季度领导者： Forrester 2017 Wave – 数据虚拟化，2017 年第 4 季度客户之选：2022 Gartner Peer Insights 数据集成工具（连续第二年）财务状况 ~50% 的年增长率 108% 的净留存率； 4% 的客户流失率 $0 负债；盈利 15

16. Denodo 在数据领域的行业地位 Gartner and Forrester Research Evaluations 2021 Gartner Magic Quadrant for Data Integration Tools 2020 Gartner Magic Quadrant for Data Integration Tools Forrester Wave: Enterprise Data Fabric, Q2 202 16

17. Denodo 服务于各行业大型客户 1000 多家客户，包括各个主要行业的众多财富 500 强和全球 2000 强公司 Energy Technology Manufacturing Financial Services Insurance Healthcare Public Sector Telecommunications Retail Pharma / Biotech 17

18. Denodo 构建数据的一站式逻辑平台任何数据源基于逻辑集成、管理并交付分布式数据任何数据使用者数据治理工具 DB、DW 和数据湖 AI/ML 建议与自动化多维数据集逻辑数据抽象化高级语义与主动数据目录数据科学和机器学习应用程序文件流式数据和 IoT 云 DB 和 SaaS BI 仪表板报告和工具智能查询加速统一安全与治理实时数据集成任何平台环境本地 | 云 | 多云 | 容器化移动和企业应用程序微服务应用程序 18

19. Denodo 数据虚拟化技术是实现 Data Fabric 的关键六大核心功能逻辑数据模型自动化和推荐 Data Fabric的核心: 实时数据集成智能查询加速增强的语义层统一的数据安全与治理能够通过一个公共层，将可信数据从所有相关数据源，交付给所有相关数据消费者，从而能够以更加高效的方式整合不同的数据源快速得到分析结果。数据虚拟化能力提供了一个数据访问和传输层，它可以作为数据编织架构的基础，在数据管理中提供了重要的自动化功能。这些包括数据推荐的自动化、数据质量、数据治理和策略，以及数据虚拟化的核心数据集成功能。所以数据虚拟化可以帮助数据编织架构快速落地。 – Gartner: Assessing the Relevance of Data Virtualization in Modern Data Architectures, June 2021 19

20. Denodo 核心能力采用先进数据虚拟化技术

21. Denodo 核心能力 3 数据使用者数据分析 DATA CONSUMERS 数据应用使用各种数据访问 Enterprise Applications, Reporting,BI, Portals, ESB, Mobile, Web, Users, IoT/Streaming Data 多个协议格式 2 整合异构数据安全交付数据虚拟化异构实时集成标准治理建模数据开放共享连接异构数据的规范化视图数据资产管理 Library of wrappers 1 请求/回复事件驱动链接数据服务查询、搜索、浏览结构化合并消费发现、改造、共享、交付、准备、提高质发布、管理、量、整合协作连接 & 收集 Any data or content 不同的数据源智能优化引擎数据访问加速数据安全管控图形运维开发 Read & Write 非结构化连接各种数据源数据库 & 传统数仓, 业务系统 / 云应用, 大数据, 外部数据,非结构化数据, Web服务, XML, Excel, Hbase, TD... 21

22. Data Fabric 架构中数据是如何执行的？ JDBC/ODBC/ADO.Net Development Tools and SDK Scheduled Tasks Unified View SOAP / REST WS Customer 360 View Virtual Data Mart View U J Unified View Unified View Transformation & Cleansing Derived View Query Optimizer Base View Base View Base View Monitoring & Audit Governance J J Base View Development Lifecycle Mgmt A Derived View J Business Layer Unified View J S Data Caching Application Layer Base View Base View Base View Data Source Layer Security Abstraction 22

23. 示例：Denodo 通用数据架构 Data Fabric 数据架构 Denodo 跨平台数据管理低代码开发平台已有的数据中台或传统数仓云视图分析 Kafka Flume 数据科学 DWH 视图分析视图数据科学视图 λ 视图统一数据治理 Sqoop CDC 混合视图 ETL 异构数据标准化接入 iPaaS AI/ML 数据货币化数据市场数据湖实时视图 23

24. 客户案例

25. Denodo 轻松实现多云及云上云下混合架构宁夏区域 Amazon RDS, Aurora 北京区域 25

26. 必和必拓 – 数据和用户遍布全球 Jansen Houston DC London Shanghai Kuala Lumpor AWS US East AWS APAC Singapore Escondida Santiago DC Perth DC Brisbane DC 26

27. 必和必拓 – 构建数据编织架构体系每个数据虚拟化集群都连接到本地数据源，是本地消费者应用程序(如BI和分析工具)的接入点。每个数据虚拟化集群都可以看到来自所有其他集群的可用数据集，并根据最终用户的需要从它的对等集群请求这些数据。 Jansen Houston DC London Shanghai Kuala Lumpor AWS US East AWS APAC Singapore Escondida Santiago DC Perth DC Brisbane DC 27

28. 必和必拓 – 构建数据编织架构体系 Jansen Houston DC London Shanghai Kuala Lumpor AWS US East AWS APAC Singapore Escondida Santiago DC Perth DC Brisbane DC 28

29. 支持所有角色人员使用数据访问服务数据市场数据专员数据计算服务数据编织服务数据集成服务 RDBMS/OLTP Traditional Analytics/BI Data Lakes 数据编织管理员系统管理员 Cloud Data Stores Apps and Document Repositories Applications/APIs Data Warehouse Flat Files ETL Third Party OData SOAP/XML GraphQL ETL Legacy Mart REST Mart XML • JSON • PDF DOC • WEB 无论什么数据还是平台，都可以执行统一的数据集成、安全治理、服务和部署，真正实现数据物理分散，管理集中。 29

30. Demo 演示

31. 演示背景客户有Oracle数据库构建的传统数据仓库。客户有Hadoop集群，用来存储大量的历史数据。客户有大量的SaaS应用。如何利用多种数据源的数据，轻松地构建报告。 31

32. 示例分析各地区、营销活动的销售情况。 • 历史销售数据，在大数据平台 (Impala)上，节省存储成本。 • 营销活动数据，存储在云服务 (REST API)。 • 使用按地区分组合并转换集成连接客户信息，存储在本地数据仓库 (DW) 中。连接基本视图销售额 Demo 视频：5 分钟活动客户数据源 32

33.

34. Denodo 智能优化引擎的最佳性能优化策略客户和销售额来自不同的数据源。最佳执行计划是什么？ SELECT c.state, AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state 选项 2？选项 1？创建临时表格 50万分组依据选项 3？按地区分组连接分组依据 2百万连接连接 2百万 3亿销售额原生策略客户销售额临时客户表临时数据移动策略 2百万客户按 ID 分组销售额 2百万客户部分聚合下推策略 34

35. Denodo 联系方式  Denodo官网： denodo.com.cn  Denodo社区： community.denodo.com  Denodo博客： www.datavirtualizationblog.com  产品试用： https://www.denodo.com/en/denodo-platform/test-drives  联系我们：  添加微信  电话至 +86.18518356610  邮件至 cli@denodo.com 35

36. 36

37.