基于指标平台的智能分析及零售金融行业实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 基于指标平台的智能分析及零售/金融行业实践杜永青数势科技大数据产品负责人 DataFunSummit # 2023

2. 目录趋势与挑战：企业数据民主化 & 价值化指标平台：企业数据智能应用新范式领先实践：零售及金融行业指标平台实践案例未来展望：基于大模型的智能分析未来 2

3. 数据红利时代已经到来数据红利时代流量红利时代人口红利时代 2020+ 2000s – 2020s 1970s – 2000s 8亿+劳动人口、2亿高等教育人才移动互联网浪潮下的10亿网民 30 ZB数据，每三年翻倍衣食住行相关行业（地产、消费品、汽车） TMT相关行业（社交、电商、游戏、广告）数据智能相关产业（硬科技、大数据、企业数字化）大数据/大模型原生企业？ 3

4. 数据民主化和价值化是必然趋势过往当前未来数据消费者 1% 业务决策者财务等数据“依赖者” 5% +BI分析师 +业务分析师 50% +业务全员 +上下游合作伙伴数据应用核心价值 What What & Why What & Why & How 数据分析工具 Excel 数仓+BI 指标平台 + Copilot 4

5. 以指标为基础构建业务统一度量和数字孪生指标化经营的益处 • 指标体系映射业务经营逻辑，将北极星指标拆解到可落地的业务过程指标，形成战略到执行的闭环 • 统一的指标口径，形成一致的业务水平衡量标准，提高经营决策效率 • 以面向业务的指标体系，牵引企业数据底座建设，数字化技术更好落地 5

6. 企业在实现数据民主化和价值化时面临挑战业务方面得不到IT及时支持的业务人员及分析师如：业务管理者、产品运营、业务分析师数据方面缺少好的业务指标体系口径拉通困难，业务协作效率低指标数据异常问题定位难分身乏术的数据工程师如：数据开发工程师、数据产品经理数据需求交付时间长，业务经常投诉分析灵活性和性能很难兼得 6

7. 目录趋势与挑战：企业数据民主化 & 价值化指标平台：企业数据智能应用新范式领先实践：零售及金融行业指标平台实践案例未来展望：基于大模型的智能分析未来 7

8. 指标平台-指标体系-指标应用：数据智能应用新范式建立指标平台统一服务各业务应用端 AI 业务应用指标看板 BI 三位一体的数据智能应用新范式指标平台数据仓库 MPP数据库数据湖业务系统指标平台数据源 8

9. 指标平台：新一代数据智能分析应用范式的根基业务应用场景 BI工具数据大屏业务系统 … 产品定位指标平台是企业指标管理、加工和应用的一体化工具，帮助企指标平台指标应用指标管理业解决指标口径不统一和数据需求响应慢的问题指标API服务核心优势指标市场指标取数指标分析指标预警归因数据接入指标定义指标/维度配置计算任务管理以全链路指标化设计理念，实现指标管理和应用的统一、自助和高效 1. 通过积木式组装指标和通过API消费指标，缩短数据管道，指标管理更高效 2. 去掉数据集，围绕指标来做数据分析，用业务语言代替技数据仓库术语言，对业务人员更友好 3. 数据源业务DB 实时流基于Doris引擎，并根据指标加工和应用场景升级打造的指标计算引擎HME，查询性能更强大 API 外部数据 9

10. Before: 传统数据架构复杂、管道长，数据开发和管理效率低下现状问题 1、数据管道长，数仓四层，数据应用还有一层 1、开发和运维效率低，需求都要经过专业技术人员，需求变更要维护多层表 2、数据表多，一个报表对应一张应用表和数据集 2、资源成本高，数据搬运次数多，计算存储冗余，应用端有独立的硬件资源 3、数据管理和应用分离，应用端有自己的存储和加工 3、指标口径管理成本高，口径封装在层层管道中，数据团队管控不了应用端 BI工具原始数据表1 原始数据表2 维度表维度宽表事实明细表带有维度的轻度汇总表原始数据表3 数据仓库DW层支付金额数据集1 230,000 PV（w）数据集2 数据同步指标呈现 1,500 支付单量数据上传维度 22,000 数据湖维度表带有维度的轻度汇总表数据集存储及加工事实维度宽表 V2.0 数据应用表 2 数据应用表 3 事实明细表原始数据表n 数据应用表 1 数据应用表 n 数据仓库集市层数据大屏数据集 3 支付金额 250,000 数据应用 10

11. After: 管理更高效，通过积木式组装指标和API消费指标，缩短数据管道 1、指标口径信息原子化、规范化、统一化管理和加工，数据团队从管理表到管理原子粒度信息，开发运维成本低 2、积木式组装派生和衍生指标，数据复用粒度从数据表升级为指标，极大减少了数据集市表数量，提高了数据复用性 3、BI工具等数据应用系统只做指标查询展示，通过API消费，数据存储、计算及权限管控都集中在指标平台，实现一处定义，随处使用规范化加工原子指标、维度等原始数据表1 支付单量浏览量事实明细表月至今昨日昨日天猫电视浏览量＝昨日天猫电视PV转化率数据湖昨日天猫电视支付单量 ➗ 统计周期维度表数据仓库DWD 维度销售渠道 BI工具指标呈现事实明细表原始数据表3 原始数据表n 指标API服务维度表原子指标原始数据表2 积木式组装派生和衍生指标指标语义层： • 指标字段 • 所需维度 • 统计周期 • 聚合方式 • 约束条件 • 统计步长产品品类支付单量 22,000 PV（w） 1,500 支付金额 224,000 数据大屏 PV转化率上周环比指标平台元数据信息支付单量 22,000 数据应用 11

12. 业务更友好：新需求无需新增数据集，用指标直接做报表，业务使用门槛更低传统的BI分析基于指标的下一代BI分析 • BI工具中开发报表，都是基于数据集，数据集、字段等都是技术概念， • excel做图表还简单对业务人员来说，有很高的学习成本 • 新需求一般都需要构建新数据集，不管是从数仓开发新表同步，还是在 • • 数据集中字段缺少完整口径信息，业务不敢用，且用字段叠加逻辑开发数据应用表1 数据集101 数据应用表2 数据应用表3 数据应用表n 数据仓库数仓开发新表同步 1 基于数据集加工数据集102 • 去除数据集和字段，直接用封装好口径信息的指标配报表，而且选取的聚合方式、过滤条件等信息都会反写到指标口径信息上，保证口径清晰一致出的指标，跟数据团队统一管理的指标口径存在差异新数据集指标平台中标准化指标直接选取使用，派生和衍生指标无需写SQL也可以自助配置完成，全流程自服务，无需劳烦技术人员 BI工具中拼装数据集，都离不开技术人员支持，避免不了需求排队等待 2 以终为始，用业务能理解的指标和维度直接拖拉拽做报表，使用门槛降低，比用 3 指标呈现指标库支付金额 230,000 原子指标 PV（w） 1,500 维度支付单量 2,240 统计周期数据集001 退款金额 4,500 派生指标数据集002 毛利 33,000 衍生指标多数据集拼装已有数据集 BI工具基于标准化指标拖拉拽配置指标 2 API 指标平台＃支付金额＃支付单量＃退款金额＃浏览量＃毛利＃… 1 指标：渠道省份品类 … 支付金额 230,000 支付金额（求和） 3 维度：日期（年月日）维度：维度 T T T T 指标呈现结果 and 过滤： PV（w） 1,500 支付单量 2,240 渠道（线上）退款金额 4,500 月份（ 8月）毛利 33,000 BI工具 12

13. 围绕指标加工和应用场景升级打造的指标计算引擎 HME，保证指标查询性能指标应用 BI产品大屏 RESTful Excel Java API App SQL 业务系统指标计算引擎技术特点 MDX 1. 指标计算引擎（HME）指标定义关联查询和物化视图等能力突出指标查询 2. 指标预计算优化策略自动重分区指标联合查询缓存预聚合计算自动预打宽预聚合数据查询路由优化数据模型果的查询优化两大核心能力 3. 丰富的集成接口API，可与上层数据应用友好集成 4. 通过数据虚拟化技术，指标定义和物理数据（业务）解偶，实现指标灵活加工使用，无需排期开发执行引擎（Doris）物化视图结合专家经验的指标计算引擎，结合指标加工和使用场景进行了一系列优化，提供基于视图的预计算能力和基于预计算结指标查询优化策略分场景优化 SQL引擎底层选用Doris引擎作为执行引擎，大宽表查询、跨模型跨表关联查询缓存

14. 以全链路指标化理念设计的指标平台核心优势 BI工具业务应用数据大屏 BI工具业务应用数据大屏指标计算指标计算指标计算指标呈现指标呈现指标呈现数据权限数据权限数据权限数据集数据集数据集 1. 指标API 通过积木式组装指标和通过API消费指标，缩短数据管道，指标管理更高效指标平台指标/维度定义及加工数据仓库 ADS 数据应用表 DIM 维表指标预警及归因指标计算引擎（HME） ODS DWD 数据集成数据集成数据源数据源接口数据数据上传业务系统接口数据更友好 3. 基于Doris引擎，并根据指标加工和应用场景升级打造的指标计算引擎HME，查数据仓库 DWD 明细事实表去掉数据集，围绕指标来做数据分析，用业务语言代替技术语言，对业务人员指标权限管理 DWS 轻量汇总表 ODS 原始数据表业务系统 2. 统一指标API服务数据同步 DIM 数据上传询性能更强大

15. 目录趋势与挑战：企业数据民主化 & 价值化指标平台：企业数据智能应用新范式领先实践：零售及金融行业指标平台实践案例未来展望：基于大模型的智能分析未来 15

16. 零售案例：全球商超巨头，如何提升商品综合竞争力？ • 上万家门店，数万支 SKU，哪支赚钱哪支亏钱，是一个容易算的数吗？ • 不赚钱的商品，到底亏在了哪里？ • 各种商品扮演者什么品类角色？（引流品、利润品、网红品、民生品 etc.） 16

17. 构建商品全链路指标体系，推动商品单品精益运营搭建指标平台和商品指标体系，实现by SKU by channel by day 的全链路数据洞察技术视角商品360指标体系 - 单品损益分析洞察问题跟踪执行业务视角数据应用门户 ( 数据资产平台、自助取数工具、数据应用市场、打标工具等 ) ① 优化品类结构，提升商品竞争力 ② 提升商品销售额及贡献毛利 ③ 提升决策支持及精益管理能力指标平台 • 全链条指标可视化，推动交易、营销、服务流程的透明化，提升经营效率与用户体验大数据平台 ( ETL、数据建模开发、数据治理、数据安全等可组装模块 ) • 提升需求响应速度及数据质量，更高效的支持业务需求选取模型自助取数基于业务场景的分领域指标体系采销、用户、营运、O2O、供应链、财务标准的数据结构产品视角统一的数据维度指标驱动的核心数据模型订单、商品、库存、用户、履约、营销、售后、供应链、物流、财务 17

18. 集团统一的商品指标体系，服务采销营运及财务决策数势搭建了该企业的指标平台，梳理统一300个商品域核心指标，形成了服务采销、营运、财务等多团队的经营分析看板，实现了快消品、生鲜品全链路的数据分析和决策支持能力，帮助企业提升营销ROI、优化成本结构完成了300+核心商品指标口径统一形成了服务采销的经营分析闭环 • 收入类指标：统一销售额、净收入、营销费等指标的口径，业务、财务的误差控制在1‰ 财务团队：引用商品销售、成本、损耗、毛利指标来对财务报告做精细化解读 • 成本类指标：实现生鲜出品率、损耗率的及时分析，快消品损耗的精准分析采购团队：建立供应商计分卡指导供应商谈判与管理 • 返利类指标：实现应收返利的可得性，推动现金流的良性运营销售团队：还原业务真实表现，搭建分析看板进行商品全生命周期管理 • 公摊类指标：将全渠道的公共运营成本摊分到商品粒度，实现仓佣、拣货、配送环节可分析电商运营：评估各渠道x商品的投资收益，从而优化不同人群的拉新、提频策略 • 北极星指标：将业财统一的贡献毛利指标，作为衡量采销绩效、供应商质量、商品竞争力的标尺门店营运：分析档期内核心品类的销售表现，帮助门店灵活测试不同策略对业绩表现的影响，提升区域门店业绩达成率赋能业务应用到各类经营场景某即时零售业务，实现3个月20家门店盈亏平衡，6个月全面铺开到100家门店，月营收过亿采销约谈集中度高的供应商，优化商品供应链路及供货策略，仅xx日用消费品一个季度就返还利润超千万液态奶、果汁饮料等品类，通过洞察成本结构盲区，优化场内带板运输/直供上门流程，实现商品搬运费用70%降低，逆转商品亏损 18

19. 金融案例：某头部证券公司数据痛点分析痛点1：数据需求无限，开发资源有限，需求排队严重数据 ① 需求 APP运营团队 … 需 ② 求排队财富管理团队获客团队营业部绩效考核指标口径不一致：各部门指标的数据来源不同、指标口径定义也不同，拉齐业务口径沟通成本高、技术口径难梳理，下游应用五花八门，分析决策难数据资产是个黑盒子：数仓模型与指标无清晰映射，指标定义全靠开发人员文档记录，上游指标变更影响哪些下游应用，追溯过程复杂难回答 … • 烟囱林立 • 指标口径不统一数据应用开 ④ 发完成 … 数 ③ 据开发痛点2：指标口径不一致，定义黑盒，无法高效复用结果表数仓杂乱数据源指标加工黑盒子 • 指标定义黑盒子 • 无法高效复用数据工程师 19

20. 数势科技和企业共建指标平台体系数势科技指标平台建设6D实施步骤诊断与设计战役开发与建设战役组织与运营战役行诊断 D iagnosis：存量指标内容调研成体系 D esign：结合企业现状与数势行业经验做开发 D evelopment：与数势形成联合开发团队建平台 D eployment：结合定制化需求进行开发链部门 D epartment：指标委员会的组织协作机制，助决策 D ecision：通过统一平台赋能业务团队在自助并对现有相关应用系统能力进行量化诊断评估并辅以4K等设计模型输出统一指标体系攻坚重点指标开发可落地部署并上线统一指标管理平台指标从提需到上线全生命周期运行落地分析、指标树等场景提效，实现数据驱动决策 20

21. 行诊断做开发成体系链部门建平台助决策行诊断：结合业务目标和现状，诊断企业当前指标体系 1. 诊断内容与方法论诊断项目梳理模块 3. 行动路径设计 2. 诊断报告输出现状评估输出行动路径输出说明 1 指标体系指标体系完善度 KYC/KYE/KYP/KYB指标指标市场指标业务与技术口径管理指标市场参考目标 70 体系健全度 2 API管理指标应用 3 当前评分 26.7 指标血缘关系可视化初版4K指标体系整体框架设计存量指标调研与业务访谈，输出具体指标分类，明确需求范围数据完善度校验，结合数据可得性调整优先级排布拖拽式报表取数指标应用 4 快速指标衍生与分析 0代码指标看板搭建能力指标管理指标开发指标与维度增删改查指标行列权限管理指标数据开发规划与落地实施指标管理 5 0 20 40 60 80 统一指标平台上线与培训 100 原子/派生/衍生指标开发指标开发维度开发指标模型开发 API管理指标查询接口支持缺失初级可用总分标尺优秀领先 6 试点指标分析场景搭建与推广 21

22. 行诊断成体系做开发建平台链部门助决策成体系：结合业务流程设计经营分析指标体系一级主题二级主题指标举例指标定义信息来源经纪业务客户资产增长率经济业务客户资产流失率业务主题经纪业务主题资管业务主题投行业务主题资本中介主题沪深A股当地市场份额本期新增客户资产额/ 期初资产总额*100% 投行业务收入增长率营业部报表A 潜在客户拜访数量产品主题经营分析指标体系理财主题内容主题公募基金年化收益股票主题活动主题公募基金最大回撤公募基金夏普比率员工绩效主题财务主题核心绩效主题评级主题过程主题基础主题基金投资顾问费固定/浮动投顾费收入主题利润主题成本主题收益率主题预算主题财务结构主题净佣金收入分支机构销售收入某一区间内基金从净值峰值点回撤到谷底值点的最大下跌幅度基金净值明细表B 为产品提供投资顾问服务收取的基于固定/浮动费率的投顾费，扣除各项税费后的实收收入投顾费用明细表C 当期佣金收入-折扣投行部销售收入内部营运主题信息技术主题合规主题客户关系主题满意度主题产品创新主题人力资源主题佣金收入明细表D 信息技术开发项目完成率重大突发事件发生次数新产品数量完成的项目/应完成的项目 *100% 22

23. 行诊断做开发成体系建平台链部门助决策成体系：以4K模型为指标体系设计纲领，进行架构规划围绕企业最终目标AUM最大化的关键因素设计顶层框架4K模型，再聚焦各模块向下拆解。保证了企业级指标体系的框架全局视角、结构化模块的可拓展性。规避了同一个模块、跨模块多套指标问题。以4K作为指标体系设计纲领整体纲领 KYP （产品） KYC （客户） KYB （渠道） KYE （团队）股票主题获客主题开户主题核心绩效主题理财主题激活主题有效户主题过程主题资讯主题留存主题付费项目主题辅助主题权益主题收入主题协同业务主题基础主题活动主题传播主题评级主题评级主题固收主题客户持仓主题基金投顾主题发起量主题私募基金主题客户流失主题资讯服务主题合规率主题公募基金主题客户交易主题交易决策主题成交率主题 L1级指标 L2级指标 L3级指标净值类收益类风险类申购类赎回类 Level-2类资金流向类产品类决策工具类 23

24. 行诊断做开发成体系建平台链部门助决策投行业务主题-债券类指标：维度/原子/派生指标与计算指标梳理统一梳理并定义了投行业务主题-债券类的核心维度与原子指标。统一维度提升了指标取数的灵活性、保证了各维度的口径统一。支持业务方以“乐高组合式”取数模式进行指标分析，加速指标取数效率投行债券类指标拆解维度原子指标派生指标计算类指标今年东北地区企业债发行量东北地区企业债发行量同比增长率机构客户编号机构客户名称是否有效客户承销金额只数区域信息投行跟踪团队是否活跃客户发行额期限（年）融资赛道产业链类型债券类型发行量票面利率（%）发行起始日发行起始日证券简称发行主体评级投行客户数服务客户数区域信息发行债券评级担保人发行状态服务次数拜访次数债券类型客户类别客户状态商机状态商机填报数量联合拜访次数东北地区公司债华东地区企业债西北地区中票华东地区短期融资券 ... ... 科学拆解加减乘除快速产出计算类指标发行量自助取数分析 24

25. 行诊断成体系做开发建平台链部门助决策做开发：以员工绩效分析类指标为例说明开发流程员工绩效分析底层数据统一指标平台 1 2 数仓加工原子指标：成交金额 xx证券 3 4 指标平台加工派生指标：近7天成交金额 5 派生指标：开发关系A股成交金额 ETL加工（在券商侧数据仓库内）推送数据仓库汇总层：负责统一的数据口径封装，提供各主题统一维度和指标的数据，为各业务方提供统一口径的共享数据服务衍生指标：开发关系股票成交金额+基金交易量 Doris高性能MPP引擎原有指标派生模式：原有的指标派生与衍生过程仍需要数据开发人员在数据仓库中进行人工ETL作业编写，导致很多SQL 片段重复，而且造成大量低效中间表生成优化后指标派生模式：直接在指标平台内通过维度拼接与指标组合配置，快速进行指标派生与衍生，大量节省开发资源，同时OLAP引擎加速了指标查询与取数效率 25

26. 行诊断成体系做开发建平台链部门助决策做开发：极大提效派生衍生指标开发，支持自助取数 • • 传统取数模式中，报表开发需要由懂SQL的数据分析师进行人工开发，开发周期长，业务人员难以自行数据挖掘数势指标平台通过统一口径指标的自助取数功能，支持配置化自助提取指标，系统自动关联跨表指标，无需等待开发排期 • 取数提效成果：获取指标结果的时间，平均每人每周减少10小时；新增派生指标时效从1周缩短到30分钟 26

27. 行诊断成体系做开发建平台链部门助决策建平台：搭建指标平台，下接数据中台上承数据应用数据驱动模式指标统一管理和服务，实现对运营目标的可衡量、可分析、可优化。应用场景数据普惠化各部门从被动的等待IT的排期，转化为主动的获取指标数据，赋能“人人都是分析师” 智慧经营分析平台业务运营效率提升数据在场景分析上的灵活性，自助取数让业务的数据等待时间每人每周减少10小时自助取数平台数字基建成熟度实现价值指标平台数据基座 KYP指标 KYC指标 KYE指标 KYB指标 300% 40% 实现400+个指标与数据模型绑定，完善50+个dws模型，实现130个指标口径统一 ... 研发需求及时率当事人主题产品主题资产主题交易主题营销主题流量主题合同主题资讯主题行情主题 …… 30% 通过指标拆解，实现40%原子指标和要素组合复用，需求5-10分钟，需求时效提升30% 全部指标复用率80%以上 Hadoop平台 27

28. 行诊断成体系做开发建平台链部门助决策链部门：明确每个指标的技术和业务owner 在企业对多部门协同共用的指标进行管理时，尤其需要委员会机制保障业务与技术团队的高效配合业绩考核运营分析指标口径梳理指标口径拉通工作汇报指标发布 … 支撑指标/标签委员会组长副组长第一负责人第二负责人机制推动者需求评审、 (CTO) 指标设计（数据负责人）核心角色部门 A 部门 B 部门 C PMO 部门 D … 流程管控（ PMO）相关部门领导或部门数据分析人员 28

29. 行诊断成体系做开发建平台链部门助决策助决策：通过平台能力让指标与标签数据驱动业务决策通过体系化从上至下的指标拆解，帮助决策层实现从战略指标到战术指标的全链路拆解与监控，让每一个子指标均可以被分析、可预警 29

30. 目录趋势与挑战：企业数据民主化 & 价值化指标平台：企业数据智能应用新范式领先实践：零售及金融行业指标平台实践案例未来展望：基于大模型的智能分析未来 30

31. 如何更进一步降低数据民主化&价值化门槛？ LLM powered Analytical Copilot based on Hyper Metrics Platform 31

32. 基础分析，基于自然语言查询和分析数据，降低门槛对于灵活多变的数据查询需求，业务人员通过自然语言即可连接数据库并完成数据查询基于大模型能力，在指标平台增加自然语言查询指标和指标解读帮助运营人员进行分析提效 32

33. 高阶分析，提炼数据背后的洞察，助力品牌优化产品对用户评论进行声量、情感倾向、产品问题归类等分析，进而了解产品质量问题，以此来帮助企业优化和创新产品 33

34. 下载数势指标平台白皮书联系我了解更多落地实践

35. 感谢观看