基于指标平台的智能分析及零售金融行业实践

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1. 基于指标平台的智能分析 及零售/金融行业实践 杜永青 数势科技 大数据产品负责人 DataFunSummit # 2023
2. 目录 趋势与挑战:企业数据民主化 & 价值化 指标平台:企业数据智能应用新范式 领先实践:零售及金融行业指标平台实践案例 未来展望:基于大模型的智能分析未来 2
3. 数据红利时代已经到来 数据红利时代 流量红利时代 人口红利时代 2020+ 2000s – 2020s 1970s – 2000s 8亿+劳动人口、2亿高等教育人才 移动互联网浪潮下的10亿网民 30 ZB数据,每三年翻倍 衣食住行相关行业 (地产、消费品、汽车) TMT相关行业 (社交、电商、游戏、广告) 数据智能相关产业 (硬科技、大数据、企业数字化) 大数据/大模型 原生企业? 3
4. 数据民主化和价值化是必然趋势 过往 当前 未来 数据消费者 1% 业务决策者 财务等数据“依赖者” 5% +BI分析师 +业务分析师 50% +业务全员 +上下游合作伙伴 数据应用核心价值 What What & Why What & Why & How 数据分析工具 Excel 数仓+BI 指标平台 + Copilot 4
5. 以指标为基础构建业务统一度量和数字孪生 指标化经营的益处 • 指标体系映射业务经营逻辑, 将北极星指标拆解到可落地的 业务过程指标,形成战略到执 行的闭环 • 统一的指标口径,形成一致的 业务水平衡量标准,提高经营 决策效率 • 以面向业务的指标体系,牵引 企业数据底座建设,数字化技 术更好落地 5
6. 企业在实现数据民主化和价值化时面临挑战 业务方面 得不到IT及时支持的 业务人员及分析师 如:业务管理者、产品运营、 业务分析师 数据方面 缺少好的业务指标 体系 口径拉通困难,业务 协作效率低 指标数据异常问题 定位难 分身乏术的数据工程师 如:数据开发工程师、数据 产品经理 数据需求交付时间长, 业务经常投诉 分析灵活性和性能很 难兼得 6
7. 目录 趋势与挑战:企业数据民主化 & 价值化 指标平台:企业数据智能应用新范式 领先实践:零售及金融行业指标平台实践案例 未来展望:基于大模型的智能分析未来 7
8. 指标平台-指标体系-指标应用:数据智能应用新范式 建立指标平台统一服务各业务应用端 AI 业务应用 指标看板 BI 三位一体的数据智能应用新范式 指标平台 数据仓库 MPP数据库 数据湖 业务系统 指标平台 数据源 8
9. 指标平台:新一代数据智能分析应用范式的根基 业务应用场景 BI工具 数据大屏 业务系统 … 产品定位 指标平台是企业指标管理、加工和应用的一体化工具,帮助企 指标平台 指标 应用 指标 管理 业解决指标口径不统一和数据需求响应慢的问题 指标API服务 核心优势 指标市场 指标取数 指标分析 指标预警归因 数据接入 指标定义 指标/维度配置 计算任务管理 以全链路指标化设计理念,实现指标管理和应用的统一、自助 和高效 1. 通过积木式组装指标和通过API消费指标,缩短数据管道, 指标管理更高效 2. 去掉数据集,围绕指标来做数据分析,用业务语言代替技 数据仓库 术语言,对业务人员更友好 3. 数据源 业务DB 实时流 基于Doris引擎,并根据指标加工和应用场景升级打造的指 标计算引擎HME,查询性能更强大 API 外部数据 9
10. Before: 传统数据架构复杂、管道长,数据开发 和管理效率低下 现状 问题 1、数据管道长,数仓四层,数据应用还有一层 1、开发和运维效率低,需求都要经过专业技术人员,需求变更要维护多层表 2、数据表多,一个报表对应一张应用表和数据集 2、资源成本高,数据搬运次数多,计算存储冗余,应用端有独立的硬件资源 3、数据管理和应用分离,应用端有自己的存储和加工 3、指标口径管理成本高,口径封装在层层管道中,数据团队管控不了应用端 BI工 具 原始数据表1 原始数据表2 维度表 维度宽表 事实明细表 带有维度的 轻度汇总表 原始数据表3 数据仓库DW层 支付金额 数据集1 230,000 PV(w) 数据集2 数据 同步 指标呈现 1,500 支付单量 数据上传维度 22,000 数据 湖 维度表 带有维度的 轻度汇总表 数据集存储及加工 事实维度宽表 V2.0 数据应用表 2 数据应用表 3 事实明细表 原始数据表n 数据应用表 1 数据应用表 n 数据仓库集市层 数据大 屏 数据集 3 支付金额 250,000 数据应用 10
11. After: 管理更高效,通过积木式组装指标和API消费 指标,缩短数据管道 1、指标口径信息原子化、规范化、统一化管理和加工,数据团队从管理表到管理原子粒度信息,开发运维成本低 2、积木式组装派生和衍生指标,数据复用粒度从数据表升级为指标,极大减少了数据集市表数量,提高了数据复用性 3、BI工具等数据应用系统只做指标查询展示,通过API消费,数据存储、计算及权限管控都集中在指标平台,实现一处定义,随处使用 规范化加工原子指标、维度等 原始数据表1 支付单量 浏览量 事实明细表 月至今 昨日 昨日天猫电视浏览量 = 昨日天猫电视PV转化率 数据湖 昨日天猫电视支付单量 ➗ 统计 周期 维度表 数据仓库DWD 维度 销售渠道 BI工具 指标呈现 事实明细表 原始数据表3 原始数据表n 指标API服务 维度表 原子 指标 原始数据表2 积木式组装派生和衍生指标 指标语义层: • 指标字段 • 所需维度 • 统计周期 • 聚合方式 • 约束条件 • 统计步长 产品品类 支付单量 22,000 PV(w) 1,500 支付金额 224,000 数据大屏 PV转化率上周环比 指标平台 元数据信息 支付单量 22,000 数据应用 11
12. 业务更友好:新需求无需新增数据集,用指标直接 做报表,业务使用门槛更低 传统的BI分析 基于指标的下一代BI分析 • BI工具中开发报表,都是基于数据集,数据集、字段等都是技术概念, • excel做图表还简单 对业务人员来说,有很高的学习成本 • 新需求一般都需要构建新数据集,不管是从数仓开发新表同步,还是在 • • 数据集中字段缺少完整口径信息,业务不敢用,且用字段叠加逻辑开发 数据应用表1 数据集101 数据应用表2 数据应用表3 数据应用表n 数据仓库 数仓开发 新表同步 1 基于数据 集加工 数据集102 • 去除数据集和字段,直接用封装好口径信息的指标配报表,而且选取的聚合方式、 过滤条件等信息都会反写到指标口径信息上,保证口径清晰一致 出的指标,跟数据团队统一管理的指标口径存在差异 新数据集 指标平台中标准化指标直接选取使用,派生和衍生指标无需写SQL也可以自助配置 完成,全流程自服务,无需劳烦技术人员 BI工具中拼装数据集,都离不开技术人员支持,避免不了需求排队等待 2 以终为始,用业务能理解的指标和维度直接拖拉拽做报表,使用门槛降低,比用 3 指标呈现 指标库 支付金额 230,000 原子指标 PV(w) 1,500 维度 支付单量 2,240 统计周期 数据集001 退款金额 4,500 派生指标 数据集002 毛利 33,000 衍生指标 多数据集拼装 已有数据集 BI工具 基于标准化指标拖拉拽配置 指标 2 API 指标平台 #支付金额 #支付单量 #退款金额 #浏览量 #毛利 #… 1 指标: 渠道 省份 品类 … 支付金额 230,000 支付金额(求和) 3 维度: 日期(年月日) 维度: 维度 T T T T 指标呈现 结果 and 过滤: PV(w) 1,500 支付单量 2,240 渠道( 线上) 退款金额 4,500 月份( 8月) 毛利 33,000 BI工具 12
13. 围绕指标加工和应用场景升级打造的指标计算引擎 HME,保证指标查询性能 指标应用 BI产品 大屏 RESTful Excel Java API App SQL 业务系统 指标计算引擎技术特点 MDX 1. 指标计算引擎(HME) 指标定义 关联查询和物化视图等能力突出 指标查询 2. 指标预计算优化策略 自动重分区 指标联合 查询缓存 预聚合计算 自动预打宽 预聚合数据 查询路由优 化 数据模型 果的查询优化两大核心能力 3. 丰富的集成接口API, 可与上层数据应用友好集成 4. 通过数据虚拟化技术, 指标定义 和 物理数据(业务)解偶, 实现指标灵活加工使用,无需排期开发 执行引擎(Doris) 物化视图 结合专家经验的指标计算引擎, 结合指标加工和使用场景 进行了一系列优化,提供基于视图的预计算能力和基于预计算结 指标查询优化策略 分场景优化 SQL引擎 底层选用Doris引擎作为执行引擎, 大宽表查询、跨模型 跨表关联 查询缓存
14. 以全链路指标化理念设计的指标平台核心优势 BI工具 业务应用 数据大屏 BI工具 业务应用 数据大屏 指标计算 指标计算 指标计算 指标呈现 指标呈现 指标呈现 数据权限 数据权限 数据权限 数据集 数据集 数据集 1. 指标API 通过积木式组装指标和通过API消费指 标,缩短数据管道,指标管理更高效 指标平台 指标/维度定 义及加工 数据仓库 ADS 数据应用表 DIM 维表 指标预警及 归因 指标计算引擎(HME) ODS DWD 数据集成 数据集成 数据源 数据源 接口数据 数据上传 业务系统 接口数据 更友好 3. 基于Doris引擎,并根据指标加工和应用 场景升级打造的指标计算引擎HME,查 数据仓库 DWD 明细事实表 去掉数据集,围绕指标来做数据分析, 用业务语言代替技术语言,对业务人员 指标权限管 理 DWS 轻量汇总表 ODS 原始数据表 业务系统 2. 统一指标API服务 数据同步 DIM 数据上传 询性能更强大
15. 目录 趋势与挑战:企业数据民主化 & 价值化 指标平台:企业数据智能应用新范式 领先实践:零售及金融行业指标平台实践案例 未来展望:基于大模型的智能分析未来 15
16. 零售案例:全球商超巨头,如何提升商品综合竞争力? • 上万家门店,数万支 SKU,哪支赚钱哪支亏钱,是一个容易算的数吗? • 不赚钱的商品,到底亏在了哪里? • 各种商品扮演者什么品类角色?(引流品、利润品、网红品、民生品 etc.) 16
17. 构建商品全链路指标体系,推动商品单品精益运营 搭建指标平台和商品指标体系,实现by SKU by channel by day 的全链路数据洞察 技术视角 商品360指标体系 - 单品损益分析 洞察问题 跟踪执行 业务视角 数据应用门户 ( 数据资产平台、自助取数工具、数据应用市 场、打标工具等 ) ① 优化品类结构,提升商品竞争力 ② 提升商品销售额及贡献毛利 ③ 提升决策支持及精益管理能力 指标平台 • 全链条指标可视化,推动交易、 营销、服务流程的透明化,提升 经营效率与用户体验 大数据平台 ( ETL、数据建模开发、数据治理、数据安全等 可组装模块 ) • 提升需求响应速度及数据质量, 更高效的支持业务需求 选取模型 自助取数 基于业务场景的分领域指标体系 采销、用户、营运、O2O、供应链、财务 标准的 数据结构 产品视角 统一的 数据维度 指标驱动的核心数据模型 订单、商品、库存、用户、履约、营销、售后、供应链、物流、 财务 17
18. 集团统一的商品指标体系,服务采销营运及财务决策 数势搭建了该企业的指标平台,梳理统一300个商品域核心指标,形成了服务采销、营运、财务等多团队的经营分析看板, 实现了快消品、生鲜品全链路的数据分析和决策支持能力,帮助企业提升营销ROI、优化成本结构 完成了300+核心商品指标口径统一 形成了服务采销的经营分析闭环 • 收入类指标:统一销售额、净收入、营销费等 指标的口径,业务、财务的误差控制在1‰ 财务团队:引用商品销售、成本、损耗、毛利 指标来对财务报告做精细化解读 • 成本类指标:实现生鲜出品率、损耗率的及时 分析,快消品损耗的精准分析 采购团队:建立供应商计分卡指导供应商谈判 与管理 • 返利类指标:实现应收返利的可得性,推动现 金流的良性运营 销售团队:还原业务真实表现,搭建分析看板 进行商品全生命周期管理 • 公摊类指标:将全渠道的公共运营成本摊分到 商品粒度,实现仓佣、拣货、配送环节可分析 电商运营:评估各渠道x商品的投资收益,从而 优化不同人群的拉新、提频策略 • 北极星指标:将业财统一的贡献毛利指标,作 为衡量采销绩效、供应商质量、商品竞争力的 标尺 门店营运:分析档期内核心品类的销售表现, 帮助门店灵活测试不同策略对业绩表现的影响, 提升区域门店业绩达成率 赋能业务应用到各类经营场景 某即时零售业务,实现3个月20家门店盈亏平 衡,6个月全面铺开到100家门店,月营收过 亿 采销约谈集中度高的供应商,优化商品供应链 路及供货策略,仅xx日用消费品一个季度就返 还利润超千万 液态奶、果汁饮料等品类,通过洞察成本结构 盲区,优化场内带板运输/直供上门流程,实 现商品搬运费用70%降低,逆转商品亏损 18
19. 金融案例:某头部证券公司数据痛点分析 痛点1:数据需求无限,开发资源有限,需求排队严重 数 据 ① 需 求 APP运营团队 … 需 ② 求 排 队 财富管理团队 获客团队 营业部 绩效考核 指标口径不一致:各部门指标的数据来源不同、指标口径定义也不同, 拉齐业务口径沟通成本高、技术口径难梳理,下游应用五花八门,分析 决策难 数据资产是个黑盒子:数仓模型与指标无清晰映射,指标定义全靠开发 人员文档记录,上游指标变更影响哪些下游应用,追溯过程复杂难回答 … • 烟囱林立 • 指标口径不统一 数据应用 开 ④ 发 完 成 … 数 ③ 据 开 发 痛点2:指标口径不一致,定义黑盒,无法高效复用 结果表 数仓 杂乱数据源 指标加工 黑盒子 • 指标定义黑盒子 • 无法高效复用 数据工程师 19
20. 数势科技和企业共建指标平台体系 数势科技指标平台建设6D实施步骤 诊断与设计战役 开发与建设战役 组织与运营战役 行 诊断 D iagnosis:存量指标内容调研 成 体系 D esign:结合企业现状与数势行业经验 做 开发 D evelopment:与数势形成联合开发团队 建 平台 D eployment:结合定制化需求进行开发 链 部门 D epartment:指标委员会的组织协作机制, 助 决策 D ecision:通过统一平台赋能业务团队在自助 并对现有相关应用系统能力进行量化诊断评估 并辅以4K等设计模型输出统一指标体系 攻坚重点指标开发 可 落 地 部署并上线统一指标管理平台 指标从提需到上线全生命周期运行落地 分析、指标树等场景提效,实现数据驱动决策 20
21. 行诊断 做开发 成体系 链部门 建平台 助决策 行诊断:结合业务目标和现状,诊断企业当前指标体系 1. 诊断内容与方法论 诊断项目梳理 模块 3. 行动路径设计 2. 诊断报告输出 现状评估输出 行动路径输出 说明 1 指标体系 指标体系完善度 KYC/KYE/KYP/KYB指标 指标市场 指标业务与技术口径管理 指标市场 参考目标 70 体系健全度 2 API管理 指标应用 3 当前评分 26.7 指标血缘关系可视化 初版4K指标体系整体框架设计 存量指标调研与业务访谈,输出 具体指标分类,明确需求范围 数据完善度校验,结合数据可 得性调整优先级排布 拖拽式报表取数 指标应用 4 快速指标衍生与分析 0代码指标看板搭建能力 指标管理 指标开发 指标与维度增删改查 指标行列权限管理 指标数据开发规划与落地实施 指标管理 5 0 20 40 60 80 统一指标平台上线与培训 100 原子/派生/衍生指标开发 指标开发 维度开发 指标模型开发 API管理 指标查询接口支持 缺失 初级 可用 总分标尺 优秀 领先 6 试点指标分析场景搭建与推广 21
22. 行诊断 成体系 做开发 建平台 链部门 助决策 成体系:结合业务流程设计经营分析指标体系 一级主题 二级主题 指标举例 指标定义 信息来源 经纪业务客户资产增长率 经济业务客户资产流失率 业务主题 经纪业务主题 资管业务主题 投行业务主题 资本中介主题 沪深A股当地市场份额 本期新增客户资产额/ 期初资产总额*100% 投行业务收入增长率 营业部报表A 潜在客户拜访数量 产品主题 经营分 析指标 体系 理财主题 内容主题 公募基金年化收益 股票主题 活动主题 公募基金最大回撤 公募基金夏普比率 员工绩效 主题 财务主题 核心绩效主题 评级主题 过程主题 基础主题 基金投资顾问费 固定/浮动投顾费 收入主题 利润主题 成本主题 收益率主题 预算主题 财务结构主题 净佣金收入 分支机构销售收入 某一区间内基金从净值峰值 点回撤到谷底值点的最大下跌 幅度 基金净值明细表B 为产品提供投资顾问服务收 取的基于固定/浮动费率的投顾 费,扣除各项税费后的实收收 入 投顾费用明细表C 当期佣金收入-折扣 投行部销售收入 内部营运 主题 信息技术主题 合规主题 客户关系主题 满意度主题 产品创新主题 人力资源主题 佣金收入明细表D 信息技术开发项目完成率 重大突发事件发生次数 新产品数量 完成的项目/应完成的项目 *100% 22
23. 行诊断 做开发 成体系 建平台 链部门 助决策 成体系:以4K模型为指标体系设计纲领,进行架构规划 围绕企业最终目标AUM最大化的关键因素设计顶层框架4K模型,再聚焦各模块向下拆解。 保证了企业级指标体系的框架全局视角、结构化模块的可拓展性。规避了同一个模块、跨模块多套指标问题。 以4K作为指标体系设计纲领 整体纲领 KYP (产品) KYC (客户) KYB (渠道) KYE (团队) 股票主题 获客主题 开户主题 核心绩效主题 理财主题 激活主题 有效户主题 过程主题 资讯主题 留存主题 付费项目主题 辅助主题 权益主题 收入主题 协同业务主题 基础主题 活动主题 传播主题 评级主题 评级主题 固收主题 客户持仓主题 基金投顾主题 发起量主题 私募基金主题 客户流失主题 资讯服务主题 合规率主题 公募基金主题 客户交易主题 交易决策主题 成交率主题 L1级指标 L2级指标 L3级指标 净值类 收益类 风险类 申购类 赎回类 Level-2类 资金流向类 产品类 决策工具类 23
24. 行诊断 做开发 成体系 建平台 链部门 助决策 投行业务主题-债券类指标:维度/原子/派生指标与计算指标梳理 统一梳理并定义了投行业务主题-债券类的核心维度与原子指标。统一维度提升了指标取数的灵活性、保证了各维度的口径 统一。支持业务方以“乐高组合式”取数模式进行指标分析,加速指标取数效率 投行债券类指标拆解 维度 原子指标 派生指标 计算类指标 今年东北地区企业债发行量 东北地区企业债发行量同比增长率 机构客户编号 机构客户名称 是否有效客户 承销金额 只数 区域信息 投行跟踪团队 是否活跃客户 发行额 期限(年) 融资赛道 产业链类型 债券类型 发行量 票面利率(%) 发行起始日 发行起始日 证券简称 发行主体评级 投行客户数 服务客户数 区域信息 发行债券评级 担保人 发行状态 服务次数 拜访次数 债券类型 客户类别 客户状态 商机状态 商机填报数量 联合拜访次数 东北地区 公司债 华东地区 企业债 西北地区 中票 华东地区 短期融资券 ... ... 科学拆解 加减乘除快速产出 计算类指标 发行量 自助取数分析 24
25. 行诊断 成体系 做开发 建平台 链部门 助决策 做开发:以员工绩效分析类指标为例说明开发流程 员工绩效分析底层数据 统一指标平台 1 2 数仓加工 原子指标:成交金额 xx证券 3 4 指标平台加工 派生指标:近7天成交金额 5 派生指标:开发关系A股成交金额 ETL加工(在券商侧数据仓库内) 推送 数据仓库汇总层:负责统一的数据口径封装,提供各主题统一维度和指标的数据, 为各业务方提供统一口径的共享数据服务 衍生指标:开发关系股票成交金额+基金交易量 Doris高性能MPP引擎 原有指标派生模式:原有的指标派生与衍生过程仍需要数据 开发人员在数据仓库中进行人工ETL作业编写,导致很多SQL 片段重复,而且造成大量低效中间表生成 优化后指标派生模式:直接在指标平台内通过维度拼接与指 标组合配置,快速进行指标派生与衍生,大量节省开发资源, 同时OLAP引擎加速了指标查询与取数效率 25
26. 行诊断 成体系 做开发 建平台 链部门 助决策 做开发:极大提效派生衍生指标开发,支持自助取数 • • 传统取数模式中,报表开发需要由懂SQL的数据分析师进行人工开发,开发周期长,业务人员难以自行数据挖掘 数势指标平台通过统一口径指标的自助取数功能,支持配置化自助提取指标,系统自动关联跨表指标,无需等待开发排期 • 取数提效成果:获取指标结果的时间,平均每人每周减少10小时;新增派生指标时效从1周缩短到30分钟 26
27. 行诊断 成体系 做开发 建平台 链部门 助决策 建平台:搭建指标平台,下接数据中台上承数据应用 数据驱动模式 指标统一管理和服务,实现对运营目标的可 衡量、可分析、可优化。 应用 场景 数据普惠化 各部门从被动的等待IT的排期,转化为主动的 获取指标数据,赋能“人人都是分析师” 智慧经营分析平台 业务运营效率 提升数据在场景分析上的灵活性,自 助取数让业务的数据等待时间每人每 周减少10小时 自助取数平台 数字基建成熟度 实 现 价 值 指标 平台 数据 基座 KYP指标 KYC指标 KYE指标 KYB指标 300% 40% 实现400+个指标与数据模型绑定, 完善50+个dws模型,实现130个指 标口径统一 ... 研发需求及时率 当事人主题 产品主题 资产主题 交易主题 营销主题 流量主题 合同主题 资讯主题 行情主题 …… 30% 通过指标拆解,实现40%原子指标和 要素组合复用,需求5-10分钟,需求 时效提升30% 全部指标复用率80%以上 Hadoop平台 27
28. 行诊断 成体系 做开发 建平台 链部门 助决策 链部门:明确每个指标的技术和业务owner 在企业对多部门协同共用的指标进行管理时,尤其需要委员会机制保障业务与技术团队的高效配合 业绩考核 运营分析 指标口径梳理 指标口径拉通 工作汇报 指标发布 … 支撑 指标/标签委员会 组长 副组长 第一负责人 第二负责人 机制推动者 需求评审、 (CTO) 指标设计 (数据负责人) 核心角色 部 门 A 部 门 B 部 门 C PMO 部 门 D … 流程管控 ( PMO) 相关部门领导 或 部门数据分析人员 28
29. 行诊断 成体系 做开发 建平台 链部门 助决策 助决策:通过平台能力让指标与标签数据驱动业务决策 通过体系化从上至下的指标拆解,帮助决策层实现从战略指标到战术指标的全链路拆解与监控,让每一个子指 标均可以被分析、可预警 29
30. 目录 趋势与挑战:企业数据民主化 & 价值化 指标平台:企业数据智能应用新范式 领先实践:零售及金融行业指标平台实践案例 未来展望:基于大模型的智能分析未来 30
31. 如何更进一步降低数据民主化&价值化门槛? LLM powered Analytical Copilot based on Hyper Metrics Platform 31
32. 基础分析,基于自然语言查询和分析数据,降低门槛 对于灵活多变的数据查询需求,业务人员通 过自然语言即可连接数据库并完成数据查询 基于大模型能力,在指标平台增加自然语言查询指标和指标解读帮助 运营人员进行 分析提效 32
33. 高阶分析,提炼数据背后的洞察,助力品牌优化产品 对用户评论进行声量、情感倾向、产品问题归类等分析,进而 了解产品质量问题,以此来帮助企业 优化和创新产品 33
34. 下载数势指标平台白皮书 联系我了解更多落地实践
35. 感谢观看

首页 - Wiki
Copyright © 2011-2024 iteam. Current version is 2.124.0. UTC+08:00, 2024-04-21 04:53
浙ICP备14020137号-1 $访客地图$