数据虚拟化助力企业数字化转型
如果无法正常显示,请先停止浏览器的去广告插件。
1. 数据虚拟化——
助力企业数字化转型
周剑魂
Denodo 大中华区客户总监
2. 数字变革在颠覆一切 | 数据的爆炸式增长
变革的步伐已成为企业面临的最大风险,需要 IT 以敏捷的平台提供支持,以支持企业的发展。
流程
客户
至2021年,互联设备已达到
150亿
产品
数据
每年的数据量将增长
3.7倍
3. 数据是有价值的资产
• 数据对任何组织来说都是非常宝贵的资产
• …前提是数据能转化为“可使用的信息”
• 可使用的信息将驱动决策
• 明智的商业决策
• 更有效、优化的业务流程
• 等等。
• 需要管理和提炼数据,使其成为可使用的信息
• 但 IT 专家 *并非* 数据知识专家
• 最懂物流数据的则是物流部门
• 也即每天处理数据的人员
4. 数据管理的演进
5. 从传统数仓 -> 数据湖 -> 逻辑数据架构
数据架构的变革,逻辑数据架构的兴起,已经成为全球最新的架构设计趋势。
1990s
Pre EDW EDW
Operational
Application
Operational
Application
Operational
Application
Cube
?
Cube
Fragmented/
nonexistent analysis
› Multiple sources
› Multiple structured sources
2000s
Data
Warehouse
Operational
Application
Data
Warehouse
LDW
Operational Application
Operational Application Operational Application
Operational Application Operational Application
IoT Data Data
Lake IoT Data
Other NewData ? Other NewData
Unified analysis
› Consolidated data
› "Collect the data"
› Single server, multiple nodes
› More analysis than any
one server can provide
2010s
Post EDW
Operational Application
Operational
Application
Operational
Application
Time
Fragmented analysis
›
›
›
›
›
"Collect the data" (Into
different repositories)
New data types,
processing, requirements
Uncoordinated views
逻辑数据架构
Data Warehouse
1980s
ODS
Marts
Data Lake
Unified analysis
›
›
›
›
Logically consolidated view of all data
"Connect and collect"
Multiple servers, of multiple nodes
More analysis than any one system can provide
6. “收集”数据与“连接”数据的平衡
Information Asset Types
数据, SQL 查询, 报告, 建议,
仪表板,数据服务,KPI, 虚拟数据资产
Physical Infrastructure
Metadata
Use Cases (Operational, Analytics, Diverse)
7. 2020:Data Fabric
基于Data Fabric理念的数据中台架构
Data Fabric 是一种通用的数据体系结构模式,无论什么样结构的数据、平台和模式,都可
以执行统一的数据集成、安全治理、服务和部署。
流程
客户
产品
风险
Data Fabric
RDBMS/OLTP
传统分析/BI
数据湖
云数据存储
应用程序和文档存储库
数据仓库
Flat Files
ETL
ETL
Legacy
第三方
Mart
▪
▪
▪
▪
Mart
XML • JSON • PDF
DOC • WEB
利用所有元数据构建数据资产,实现数据结构的统一管理。
满足数据时效性,更快速的获取数据,自动化的数据访问和共享能力。
实现跨平台的数据治理和数据访问安全控制。
各种结构的数据标准化接入、治理、提高数据质量,简化数据接入部署。
8. 16
© 2021 Gartner, Inc. and/or its affiliates. All rights reserved.
数据加工&数据同步&数据复制
Foundational
Core
Known
DATA
Establishing
Value
Unknown
QUESTIONS
Virtualization
known
predictive
science
Gartner: 一个完整的数据集成平台所必需具备的能力
Innovation
and Exploration
数据目录
9. 2
虚拟数据中台 如何应对数据应用和管理挑战
数据虚拟化技术实现管理集中、物理分散,从容应对各种数据挑战。
挑战 数据虚拟化中台解决方案 业务价值
消除数据孤岛实时互通 逻辑数据分离,异构数据整合统一的数据模型中 提升数据时效性,降低开发成本
大幅减少数据移动复制 管理集中物理分散减少复制,节省资源降本增效 大幅减少数据管理工作 集中管理跨平台的元数据和主数据 快速提供多种数据服务 一键发布多种数据服务,Rest API、 SOAP WS 异构数据标准治理接入 异构数据扁平化、标准化治理,采用集中式数据
安全治理接入策略
发现痛点
和待做事项!
单独确定目标和虚拟化概念的
实际匹配度
提升业务自服务,释放数据价值
提高管理敏捷性,降低复杂度。
根据业务价值调整解决方案,充分发挥
虚拟化的业务价值
采取行动!
10. Denodo 公司介绍
11. Denodo
数据虚拟化技术的领导者
领导者
▪
▪
▪
自1999年以来,对数据虚拟化的持续关注时间最长
全球增长最快 — 前十大数据集成供应商
多次获奖
DENODO 办公室、客户、合作伙伴
遍布北美、欧洲、中东和非洲、亚太地区和
拉丁美洲的全球业务。
客户
客户超过 1200+ ,包括所有主要行业的财富
500和全球2000强公司,利用数据虚拟化显
著提高了业务灵活性和投资回报率。
财务状况
有超过 40 亿美元的私有公司支持。
年增长 60% 以上。
12. Denodo 数据虚拟化中台功能架构
3
使用
各种数据访问
数据使用者
数据分析
DATA CONSUMERS
数据应用
Enterprise Applications, Reporting,BI, Portals, ESB, Mobile, Web, Users, IoT/Streaming Data
多个协议
格式
请求/回复
事件驱动
链接数据服务
查询、搜索、浏览
安全交付
数据虚拟化平台
2
异构实时集成
标准治理建模
整合
异构数据
数据开放共享
连接
各种数据源
合并
结构化
消费
发现、改造、准 共享、交付、发
备、提高质量、 布、管理、协作
整合
异构数据的规
范化视图
数据资产管理
Library of
wrappers
1
连接
Web
automation
不同的数据源
Any data
or content
智能优化引擎
数据访问加速
数据安全管控
图形运维开发
Read
& Write
非结构化
数据库 & 传统数仓, 业务系统 / 云应用, 大数据, 外部数据,非结构化数据, Web服务, XML, Excel, Hbase, TD...
13. 数据虚拟化应用场景
敏捷 BI
✓
✓
✓
✓
实时仪表板
自助服务 BI / 分析
业务报告
虚拟数据集市
逻辑数仓 /数据湖
✓
✓
✓
✓
数据服务
云解决方案
✓
✓
✓
✓
云 BI 分析
云应用的数据服务
云现代化
混合数据结构
逻辑数据仓库
逻辑数据湖
DWH 卸载
大数据 / 机器学习 / 高级分析
✓ 数据服务
✓ 数据治理
✓ 用于 SCV/MDM 应用的数据
服务
✓ 应用程序迁移
数据虚拟化
14. Denodo 资源
✓ Denodo官网: denodo.com.cn
✓ Denodo社区: https://community.denodo.com/
✓ Denodo博客: http://www.datavirtualizationblog.com/
✓ 产品试用: https://www.denodo.com/en/denodo-platform/test-drives
✓ 联系我们:
✓ 添加微信
✓ 电话至 +86.18518356610
✓ 邮件至 cli@denodo.com
15. 谢谢!
www.denodo.com
info@denodo.com
© 版权所有 Denodo Technologies.保留所有权利
除非另有规定,未经 Denodo Technologies 书面授权,不得以任何电子或机械形式或方式复制或利用本 PDF 文件的任何部分,包括复印或用缩微胶卷摄制。