OpeNMLDB加速企业上线智能化应用

如果无法正常显示，请先停止浏览器的去广告插件。

2. About Me 陈迪豪 chendihao@4paradigm.com - - - - 第四范式平台架构师开源项目 OpenMLDB 核心研发与 PMC 成员开源项目 HBase / OpenStack / TVM 贡献者目前专注于分布式计算存储系统以及AI应用 2

3. 目录 1. 人工智能工程化落地的数据和特征挑战 2. OpenMLDB：构建线上线下一致的生产级特征平台 3. OpenMLDB v0.5.2：性能、成本、易用性升级 3

4. 1. 人工智能工程化落地的数据和特征挑战 4

5. 正确、高效的 AI 数据和特征供给成为数据侧的新挑战 95% 时间精力花费在数据上 Source: How to Operationalize Machine Learning and Data Science Projects, Gartner ≠ AI

6. 机器学习应用从开发到上线全流程（MLOps）离线开发 FeatureOps（特征） ModelOps（模型） • 数据采集 • 离线特征计算 • 模型训练 • 数据存储 • 特征存储和共享 • 超参数调优 DataOps（数据）线上服务 ModelOps（模型） FeatureOps（特征） DataOps（数据） • 在线推理 • 实时特征计算 • 实时数据流接入 • 结果数据回流 • 特征服务 • 实时请求 ProductionOps 高可用、可扩缩容、平滑升级、实时监控

7. 应用背景：决策类场景基于时序数据的特征工程 - 面向结构化数据和决策类场景 - 处理时序数据 - 基于时间窗口的聚合函数举例：针对用户 A 的一天内的交易总额分组时间窗口聚合函数

8. 业务场景：满足生产级上线需求的实时推荐系统实时行为数据 user date searching 小李 2022.1.15 洗衣机 + 交易数据库商品数据库用户数据库实时特征计算特征平台需求 user 过去三个月30-35岁顾客买的前三畅销洗衣机小李一小时内浏览过的洗衣机平均价格小李半小时内浏览过的洗衣机优惠力度最大的型号小李 1. Samsung WW75TA046TE 2. Bosch WAJ20180SG 3. Panasonic NA-V11FX2LSG 3000 Bosch WAJ20180SG 模型推理 ü 特征实时计算，满足延迟 < 20 ms ü 线上模型精度符合业务需求

9. 特征计算开发到上线全生命周期离线开发 Python/SparkSQL 离线特征抽取离线特征线下模型训练数据科学家计算逻辑一致性校验线上服务 Database/C++ 工程化团队实时特征抽取实时特征线上预估服务特征计算平台 9

10. 线上线下不一致性可能的原因工具能力的不一致性需求沟通的认知差离线开发线上应用 Account Balance 线上应用 current “account balance” 离线开发 “account balance” as of yesterday

11. 线上线下一致性校验带来的高昂工程化落地成本线下开发两套系统的开发、运营对齐两组不同技能栈的校验开发人员投入线上服务

12. 特征平台工程化解决方案 1% 头部企业非头部企业拥抱开源 • 耗费上千小时 • 采购昂贵的 • OpenMLDB 自研构建平台 SaaS 工具和服务 • 低成本、高效的企业级解决方案

13. 2. OpenMLDB：线上线下一致的生产级特征计算平台 13

14. 过往5年 MLDB → OpenMLDB 在 100+场景落地，覆盖超过 300个节点信用卡现金分期精准营销贷前风险评分营销获客个性化推荐反洗钱可疑交易智能识别信用卡账户风险预警合规额度决策风险管理投顾客户挖掘信用卡申请反欺诈欺诈养卡防控理财个性化推荐零售贷款反欺诈历史客户激活客户流失预警网点流量预测交易欺诈评分现金分期个性化推荐信用卡交易反欺诈金融产品推荐 14

15. OpenMLDB 是一个开源机器学习数据库，提供线上线下一致的特征平台开发即上线三步骤 1. 线下 SQL 特征脚本开发 2. 一键部署上线 3. 接入实时请求数据流 15

16. 解决一个核心问题，提供一个核心特性解决核心问题线上线下一致性核心特性毫秒级实时特征计算 16

17. OpenMLDB 应用场景和使用方式高 OpenMLDB 使用：已有特征脚本，需求实时特征计算离线引擎 ☑ 在线引擎线上线下一致性 OpenMLDB 使用：从离线开发到实时线上计算的完整流程 ☑ 离线引擎 ☑ 在线引擎 ☑ 线上线下一致性 OpenMLDB 使用：离线特征探索，或者使用跑批进行推理预测 ☑ 离线引擎在线引擎线上线下一致性离线计算性能需求高

18. 从离线开发到线上服务完整流程 Model training 1. Offline data import Offline database 2. Offline feature extraction 3. SQL deployment Offline Mode 4. Data import for cold-start 5. Real-time data streams Online database 6. Online data preview (optional) SQL Online Mode Real-time requests Time window Request Mode 7. Real-time feature extraction Real-time features Inference 18

19. OpenMLDB 上下游生态 * 自研组件 FeatureOps - DataOps ModelOps Online Storage Engine Online SQL Engine Online Data Sources … (external storage) (*built-in, in-mem) Offline Data Sources (*built-in) Offline SQL Engine … (*OpenMLDB Spark Distribution) = … ProductionOps Deployment DolphinScheduler Monitoring 19

20. 产品特性一：线上线下一致性执行引擎 § 统一的底层计算函数 § 逻辑计划到物理计划的线上线下执行模式自适应调整线上线下一致性得到天然保障 20

21. 产品特性二：高性能在线特征计算引擎 - 高性能双层跳表内存索引数据结构 - 混合优化策略：实时计算 + 预聚合技术 Double-layer skiplist Pre-aggregate 21

22. 产品特性三：面向特征计算的优化的离线计算引擎 - 多窗口并行计算优化 - 数据倾斜计算优化 - SQL 语法扩展 - 针对特征计算优化的 Spark 发行版 Spark 3.0.0 OpenMLDB 22

23. 产品特性四：针对特征工程的 SQL 扩展 LAST JOIN Fetch the latest record when matching multiple rows WINDOW UNION Window aggregation across two tables 23

24. 产品特性五：企业级特性支持高可用为大规模企业级应用而生可无缝多租户扩缩容已在上百个场景中实践落地可平滑云原生升级企业级监控 24

25. 产品特性六：以 SQL 为核心的开发和管理体验 OpenMLDB CLI 离线特征计算 SQL 方案上线线上请求基于 SQL 和 CLI 的全流程开发体验 25

26. 拥抱前沿新硬件技术：基于持久内存的优化持久内存（Persistent Memory）：提供低成本、大容量、可持久性的革命性内存技术 OpenMLDB 基于持久内存的优化：秒级恢复、更高性能、更低成本研究成果：Cheng Chen, et al. Optimizing in-memory database engine for AI-powered on-line decision augmentation using persistent memory. VLDB 2021. Reduce 58.4% of TCO Reduce 99.7% of recovery time Reduce 20% of tail latency

27. OpenMLDB 上下游生态 * 自研组件 FeatureOps - DataOps ModelOps Online Storage Engine Online SQL Engine Online Data Sources … (external storage) (*built-in, in-mem) Offline Data Sources (*built-in) Offline SQL Engine … (*OpenMLDB Spark Distribution) = … ProductionOps Deployment DolphinScheduler Monitoring 27

28. OpenMLDB 案例 – 某银行事中反欺诈交易事中交易风控系统架构图银行要求毫秒级业务响应卡核心 · 客户需求：响应时间20ms内、高准召率的事中反欺诈系统下发授权前交易报文实时风控应用风控引擎通过SDK调用推送授权前交易流水 Kafka 解决方案响应时间准召率传统规则系统 ~200ms 较差 PRM 订阅授权后交易流水客户自研系统机器学习平台授权后交易流水 API模块数据对接模块基于 OpenMLDB 方案、 50ms 中等 <20ms 优等人工核查结果数据预处理 SQL 数据引入 SQL 批处理特征计算实时特征计算增量训练模型预估在线预估模型缓存模型预估自学习 OpenMLDB 提供分布式、可扩展的在线预估服务快速响应能力，将毫秒级变化作为特征入模 · 对接实时流计算引擎及消息队列 · 高性能实时时序数据抽取 · 实时交易闭环数据回写 · 实时高并发的读写分离支持 28

29. OpenMLDB 案例 – Akulaku 智能计算架构中的特征平台智能应用行为评分团伙模型地理位置标签设备唯一ID 异常文本识别反洗钱模型风险设备标签地址评分智能客服智能投顾模型训练模型计算层特征计算层微服务与容器管理异构计算调度参数搜索与优化模型部署微服务与容器管理在线特征数据库高性能存储图数据库离线特征数据库流式计算引擎分布式锁离线计算引擎高性能存储知识推理引擎知识图谱推理组件粗排组件图数据库召回组件消息队列场景驱动：OpenMLDB 29

30. OpenMLDB 对 10 亿条订单进行窗口特征计算，达到 4 毫秒延迟性能特征计算环节难点 • 线上部署：低延迟，高 OpenMLDB 解决方案 • 时效性，尽可能反映数据变更 • 基于 OpenMLDB 的业务实现场景驱动：业务调用环节驱动，调用时计算 • 场景：近1天订单个数实时计算结果，现用现算 • 数据量：10亿条订单数据/天具体方案：1）使用PMem，空间换时间；2） • 需求：实时更新，时间窗口实时滑动，存在复杂关联需求 • 线下分析：高吞吐量使用SQL作为离线和在线的桥梁；3）在线 • 逻辑一致：线下分析和基于时序数据库做时间滑窗 • 线上部署的逻辑需要完全一致资源占用：3 x 256G PMEM 三节点集群 • 测试结果：4毫秒延迟 30

31. 3. OpenMLDB v0.5.2：性能、成本、易用性增强 31

32. OpenMLDB发展历程开源前 2017.02 2017.08 commit第一行代码第一个金融客户 2021.6 OpenMLDB 正式宣布开源 2021 7月 0.2.0版本发布，支持RestAPI访问 2022 1月，优化代码风格和注释 8月 OpenMLDB 基于 OpenMLDB 的优化创新论第一次Meetup 文在国际顶级数据库学术会议 2019.09 2020.12 第一个零售客户 VLDB 2021 发表获得Gitee认可，荣获GVP称号落地超过100个场景 9月 0.4.0版本发布 5月 0.5.0版本发布，支持预聚合，UDF 第一个开源企业用户 Akulaku 荣获信通院“开源社区及开源项目”奖项 11月 0.3.0版本发布，支持单机模式 12月 OpenMLDB贡献者计划启动举办国内首次Feature Store Meetup 32

33. OpenMLDB v0.5.2：性能升级预聚合技术：显著提升长窗口性能 - 预聚合优化使得在长窗口查询下，无论延迟还是吞吐，性能都提升了两个数量级 - 详细配置和结果参照官方发布的第一版性能测试报告

34. OpenMLDB v0.5.2：成本降低 SQL 在线引擎提供基于内存和外存的两种存储引擎选择 - 基于内存：低延迟、高并发；较高使用成本 è 提供毫秒级延迟响应 Real-Time SQL Engine - 基于外存：对性能较不敏感；低成本使用落地 è 基于 SSD 的典型配置下成本可下降 75% - 两种引擎上层业务代码无感知，零成本切换 Built-in (DRAM) RocksDB (HDD/SSD) Storage Engine

35. OpenMLDB v0.5.2：易用性增强用户自定义函数（UDF） - 目前支持 C/C++ UDF - 支持 UDF 动态注册 - 方便使用者扩展计算逻辑，提升应用覆盖范围自定义函数开发 — OpenMLDB documentation

36. 感谢 OpenMLDB 的社区开发者 0.4.0 版本以来参与贡献的社区开发者（GitHub IDs）： HuilinWu2 keyu813 TanZiYen L-Y-L nautaa yabg-shuai666 zoyopei Leowner Ivyee17 jingchen2222 mangoGoForward wuxiaobai24 wuteek zjx1319 prashantpaidi Cupid0320 aimanfatima TheFu527 bxiiiiii yangcol 1korenn Manny-op shiyoubun kfiring KaidoWang hezhaozhao-git johndinh391 Stevinson jasleon lwq20020127 zhouxh19 kutlayacar Liu-2001

37. OpenMLDB v0.6 Roadmap 重点关注易用性和可运维性 - 数据库状态自检和报告工具 - 查询调试和 tracing 工具 - 数据库性能分析和统计报告生成工具 - Flink connector - 整合特征编码等相关算法关注 v0.6.0 roadmap，参与需求讨论 https://github.com/4paradigm/OpenMLDB/issues/1519

38. 欢迎加入 OpenMLDB 开源社区 OpenMLDB 中文官网：https://openmldb.ai/ GitHub: https://github.com/4paradigm/OpenMLDB WE ARE HIRING! (Fulltime & Intern) OpenMLDB 微信交流群个人微信 38