1. 阿里云DataOps数据运营中心实践 演讲人-李成强(愚篱)-阿里云 DataFunSummit # 2023

2. 目录 CONTENT 数据运营中心简介 数据运营中心实践 为企业提供一站式的数据研发与运营能力 5年持续规划建设，逐步完善 数据运营中心框架 以云平台为底座，运用工具提供六大技术能 力，数据建设和数据运营双轮驱动，促进客 户建好数、用好数

3. 请输入您的演讲内容 01. 数据运营中心简介 产生背景 业务定义

4. 大数据平台建设带来的“数据繁荣” 平台、用户、业务的正向循环，推动企业数据价值不断释放 2.79 EB 1181 万 23000 名 单日处理数据量 单日调度实例数 年新增内部用户数 双11峰值及来年日常均值 50多种复杂业务依赖关系 覆盖运营/财务/分析师/开发/算法等岗位 MaxCompute单日处理数据量（PB） 2015 2016 2017 2018 2019 2020 DataWorks单日调度任务实例数（万） 2021 2015 2016 2017 2018 2019 2020 DataWorks每年新增内部用户数 2021 2016 2017 2018 2019 2020 …… 2021

5. 数据资源到数据资产化的挑战 数据繁荣到数据“活起来、动起来、用起来”所面临的挑战 01 02 03 标准规范的数据资产 如何建好企业数据资产，形成高质量企业核心数据资产 安全可控的数据流通 04 05 数据质量保障体系缺失 数据质量问题频发，造成数据消费者的信任危机 数据安全体系不完善 如何管好企业数据资产，让企业数据资产充分流通和使用 数据管理团队往往从严管控，造成数据流通不够顺畅 敏捷高效的工具支撑 数据管理角色不健全 如何用好云计算与大数据技术组件，敏捷高效支撑数据需求 06 缺少懂业务、懂技术的团队支撑，造成数据资产迭代更新慢

6. 数据运营中心，为企业提供一站式的数据研发与运营能力 面向企业数据研发管理部门，以DataOps为理念，以Dataphin/DataPro工具平台为支撑，提供一站式技术服 务，构建企业级数据资产建设与运营能力，激活数据资产的流通和使用，促进企业数据价值化。 工具化 敏捷化 融合化 精益化 智能化 标准流程 标准动作 工具支撑 客户第一 增量交付 更低门槛 研发与治理 业务与技术 管理与应用 减少浪费 价值驱动 持续优化 数据驱动 算法辅助 自主分析

7. 请输入您的演讲内容 02. 数据运营中心框架 总体框架 子方案&工具平台 总体评价指标

8. 数据运营中心框架 数据运营中心，为客户提供从“建设”、到“治理”、 再到“运营”，一站式、陪伴式技术服务 建好数，用好数 服 务 方 案 敏捷数据建设 大数据平台建设 数据架构域 技 术 能 力 工 具 平 台 云 产 品 数据应用建设 数据中台建设 精益数据运营 建运一体 数据研发域 以运促建 数据稳定性治理 数据应用域 数据成本治理 数据安全治理 数据质量治理 数据治理域 数据运维域 数据资产运营 数据流通域 分 库 分 表 分 层 分 域 模 型 设 计 数 据 集 成 数 据 探 查 数 据 建 模 数 据 门 户 驾 驶 舱 监 控 分 析 变 更 发 布 链 路 监 控 应 急 处 理 数 据 标 准 数 据 质 量 数 据 安 全 资 产 评 价 资 产 盘 点 资 产 编 目 数 据 权 限 流 批 一 体 湖 仓 一 体 数 据 开 发 数 据 校 验 代 码 扫 描 预 警 应 用 分 析 应 用 决 策 应 用 资 源 优 化 调 度 优 化 代 码 优 化 数 据 模 型 元 数 据 主 数 据 资 产 共 享 资 产 交 换 自 助 分 析 Dataphin智能数据建设与治理平台 数据引入 数据开发 数据服务 DataPro数据资产运营平台 数据标准/质量/安全 基础数据运维 数据资产运营 数据生产经营 … … Maxcompute DataWorks QuickBI DataV RDS ADB Hologres Flink Datahub 云效 Edas ACK

9. 数据资产建设全链路 资产管理&消费 资产建设 业务需求 数据调研 模型设计 查看报表 （领导&业务） 输入数据标准 模型评审 数据开发 数据资产建设 SIT UAT 业务调研 自助分析 （数据分析师） 查找&消费 自助 ADS:加速数据库 否 ADS:匹配业务需求 指定管理员 CDM:OneData建模 ADS:匹配业务需求 CDM:OneData建模 发布审批 数据资产需求 ODS:数据上云&标准化 数据资产查找 是 数据资产消费 可消费表 指标 逻辑表 准资产 (待完善信息) 已上架资产 业 务 视 角 ODS:数据上云&标准化 数据标准、数据质量、数据安全体系 ODS: 贴源层与源端保持一致 标准化基础资产，利于数据标准、数据安全以及规范建模处理 CDM: 规范维度建模，统一定义，工具层面避免重复指标建设 ADS: 贴合业务使用需求，指标下沉到表供业务消费 数据资产管理 资产目录 资产标准化 数据标准映射 准资产 (原始资产) 资产引入 数据标准录入 数据治理 资 产 管 理

10. 敏捷数据建设 建议统一的大数据平台、可复用的数据中台、低门槛的数据应用产品，高效率的满足客户数据需求 数据应用层 企业数据门户 数据服务层 领导驾驶舱 业务监控预警 API数据服务 数据智能决策 数据分析类应用 消息流数据服务 库表数据服务 数据构建平台 多维实时数据分析 数仓规划 应用数据中心（ADS） 数据中台层 离线数仓 大数据处理分析 数据引入 机器学习算法 （PAI） 公共数据中心（CDM） 流式计算 垂直数据中心（ODS） 对象存储 发布运维 数据安全 结构化业务数据 半结构化文本数据 非结构化视频图像数据 离线数据集成 数据汇聚层 业务系统 数据源 数据库采集 数据开发 文件采集 企业营销端数据 数据质量 数据服务 实时数据采集 接口采集 消息流 企业生产与供应链端数据 数据传输 日志收集 外部共享交换数据 权限管理

11. 精益数据运营 以数据资产价值评估模型为牵引，构建持续数据资产治理与运营能力，让数据“动起来、用起来” 数据资产指标评价模型 运营监控指标 使用评价指标 质量评价指标 数据质量治理 安全评价指标 数据安全治理 数据稳定性治理 质量监控大盘 数据要素交易安全 计算资源监测与治理 行业规则库 交易风险监控 平台应用监测与治理 机构合规审查 组件运行监测与治理 数据质量 问题影响分析 代码质量 模型质量 质量评估报告 质量考核 组织 制度 安全审计 组织 组织角色 数据成本治理 数据确权 绩效考核 找资产 知资产 评资产 用资产 资产规划 资产盘点 资产上下架 存储健康分 计算健康分 成本分摊 流程 制度 岗位职责 全域资产运营管理 任务运行监测与治理 数据生产安全 敏感等级智能识别 数据测试 成本评价指标 激励机制 DataPro数据资产运营平台 数据治理流程 数据运维监控流程 资产流通运营流程

12. DataPro全域数据资产运营平台 提供数据资产从“可见、可知、可用、可评、可管”的业务用数闭环体验 数据 消费 领导驾驶舱 企业数据门户 数 据 资产 全景 运 营 管 理 数据 生产 资产 目录 资产 详情 资产 标签 数据管理和服务 全 域 元 数 据 中 心 离 线 元 数 据 用资产 知资产 找资产 血缘 关系 资产 推荐 元数据管理 数据 预览 报表 对接 元模型管理 数据专题层 元数据模型（CWM) 轻量 取数 元数据图模型 汇聚层 SQL 查询 图模型管理 实 时 元 数 据 库表 订阅 接口 订阅 数据 交换 资产价 值评估 资产交 易定价 资产目录规划 资产上下架 资产分类分级 资产在线运营 数据交换共享和数据服务 元数据服务 实时元数据 统一元数据API网关 实时元数据处理 大数据引擎 MaxCompute/Dataphin/DataWorks等 管资产 评资产 数据交换与共享中心 前置机共享库 统一元数据采集 关系型数据库 MySQL/Oracle等 数据智能决策 数据分析类应用 业务监控预警 数据交换与共享中心 数据服务API网关 统一数据交换与共享管理 分析型引擎 QBI/Tableau/PowerBI等 文件类数据 OSS/FTP/SFTP等

13. 数据运营中心评价指标模型 以评价指标模型为牵引，让数据运营中心的价值“看得见” 敏捷数据建设评价模型 类目 大数据平台建设 精益数据运营评价模型 评价环节 评价指标 建设 完整度 使用 产品组件使用率 盘数据 汇数据 数量 覆盖率 数量 汇集率 沉淀公共数据资产数量 数据中台建设 建资产 类目 数据稳定性治理 数据成本治理 数据安全治理 活跃度 使用深度 效果 资源使用率 数据安全防护 数据权限治理 安全日志监测 数据开发效率提升比率 定标准 建规则 自助式服务占比 数据质量治理 可见 累计部门数 覆盖率 PV UV 平均使用时长 推改进 看效果 累计服务用户数 数据应用建设 基线设置率 基线破线率 平均产出时长 数据存储资源使用率 数据计算资源使用率 覆盖率 标识率 防护率 完成率 日志接入率 数据安全风险自动识别数 覆盖业务范围 数据质量业务标准完成率 数据质量规则数 数据质量校验任务数 质量问题解决率XX% 质量分提升率 故障次数 故障影响时长 上架资产总量 可知资产占比 查看资产数 推荐资产渗透率 用户感兴趣资产占比 资产使用占比 高活跃资产占比 资产复用率 需求平均满足时长 覆盖情况 评价指标 过程 分类分级 可用数据资产数量 用资产 评价环节 可知 数据资产运营 兴趣 使用 忠诚

14. 请输入您的演讲内容 03. 数据运营中心实践 持续服务 价值创造

15. 数据运营中心案例 专家服务团队陪伴客户5年，完整输出数据中台建设与持续运营服务，数据处理任务数 数万 个，接入数据源 数百 个，数据集市表 数千 张，支撑该客 户零管、电商、集团等 数十 个典型数据应用，让数据真正的“活起来、动起来、用起来”。 DataV数据大屏 数据资源逐步沉淀 阿里云平台部署 销售端系统迁移上云 项目起航 ＋ 2019 DataV可视化 2020 客户面临的挑战 业务层面：报表按照部门职能划分，重复建设。指标 缺乏统一标准规范。 数据层面：存在大量手工数据，基层人员填报负担 重，部分报表数据准确性不高，颗粒度粗。 技术层面：数据加工链路冗长，数据及时性不高，工 具对拖拉拽式自助分析支撑不够 运营层面：报表维护不及时，推广及共享不足 大数据平台组件扩容 多个核心业务数据应用上线 大数据平台扩容 财务域核心数据应用 ＋ 财务数据中台 2021 ＋ 深化数据应用建设 数据运营组织建设 流程、工具、人才培养 ＋ 2022 数据运营中心 2023 持续服务给客户带来的业务价值 大数据平台：建立起国产化自主知识产权的大数据平台，成功 替换掉DB2数仓。 数据应用：报表优化重构，报表数据优化近90%，兼顾各级用 户需求和使用习惯 数据资产：基于DataPro实现一套完整的数据资产目录，挂载 数千个数据资产，实现数据资产可识别、可查找、可理解、可 消费，最大程度激活数据资产价值 统一运营工作台：运营服务入口统一，实现业 务在线化、运营数据化。 流程制度：建立一套完整的数据资产建设与运 营规范制度，逐步推广数据文化。 组织建设：成立专门的数据运营组织，逐步建 立专业的数据服务能力，持续迭代大数据平台 及数据应用。

16. 感谢观看