安全领域数仓内容体系化实践

1. 安全领域数仓内容体系化实践美团信息安全部

2. 1 AI时代的安全数仓架构目录 CONTENTS 面临的挑战、内容框架设计与体系化实践 2 AI赋能安全数仓建设 AI实现数据建模、治理全方位提效

3. 1.1 问题与挑战

4. 痛点-无数据不AI 数据资产数量年均数据成本年均增长50%+ 增长20%+ 长期存在的数据痛点 • 找数难：需要支付订单表，但检索出 10+张类似的表，辨析很困难 AI时代更尖锐的问题 • 口径乱：某些字段名称、注释类似，口径却完全不一样 • 可用性低：AI存在幻觉，因此对数据的精度要求更高，面对冗余、模糊的数据资产，需要大量人工校准，否则给出的结论将不可用 • 算不动：难以支撑大规模、长周期的统计特征计算，已开始制约安全能力的发展 • 成本失控：AI应用催生出了更多数据需求，甚至AI开始生产数据，按照过去的数据建设范式，成本将难以控制

5. 信安数仓面临的挑战数据规模极大复杂度极高效率要求极高每日数千亿流量 + 数百亿业务过程数据全业务线 × 多业务过程 × 多系统 = 细节爆炸安全对抗争分夺秒加剧“烟囱式”开发美团的本地生活业务非常复杂

6. 案例：过去 VS 现在虚构案例：小团需要制作报表，展示外卖“羊毛党”用户近一年的支付统计指标 Now Before 他检索出“到餐羊毛党支付统计表”、“闪购黄牛支付统计表”…… 都无法完全满足需求，因此他直接聚合一年的外卖支付明细，关联羊毛党名单产出“外卖羊毛党用户一年支付统计表”，美滋滋的完成任务需求1 需求2 …… 待分析实体是“用户”，根据建模范式，他判断用户主题表中包含所需统计指标太阳底下没有新鲜事，如他所料，他可以直接基于主题表完成报表搭建同时，他还意外发现了很多其他有价值的标签、特征…… 实体主题需求1 需求2 行为统计行为序列实体维度行为事实日志 & 事实虽有数仓分层，但整体逻辑仍然是By需求建设，抽象程度不足，数据不通用，重复造轮子严重 …… 日志核心数据模型高度抽象，与需求分离数据客观、可充分复用

7. 过去的数仓架构数据内容抽象不足，数据模型太多、太杂，找数用数都比较困难真人能够想方设法克服困难，但目前的AI还不具备这种能力

8. 现行的数仓架构核心目标：抽象数据内容框架，统一建模范式，保证相同语义对应唯一的数据模型让真人和AI都用对、用好数据

9. 1.2 数据内容框架

10. 什么是风险？风险 = 实体(修饰) × 行为(修饰) 风险案例主语/宾语-实体谓语-行为型号是小米、系统是IOS的设备下了一笔订单设备、订单下单携带“羊毛党”标签的用户今天领优惠券1万次用户、优惠券领券曾使用过多个黑IP的用户正在获取敏感数据用户获数用户没有下单，而是直接支付用户下单、支付实体×行为是基本框架，风险体现在修饰信息中

11. 实体×行为的修饰信息基础属性，直接观测高阶属性，概率挖掘实体画像强调关联，弱化细节事实参数关系风险行为原子操作，细节丰富统计序列单一行为，维度聚合多种行为，时序信息

12. 小结：抽象内容框架为何能解决问题？问题的本质是什么？无论是真人的数据痛点，还是AI应用的数据障碍根本原因是数据模型太多、太杂、不好用引申出的问题是数据建模没有标准答案，个体认知差异大内容抽象能降低个体认知差异 • 实体和行为定义清晰，个体解读空间不大，可定规范 • 抽象的出发点是语言的语法，人和AI的理解成本都不高 • 实体和行为的数量有限，少量数据模型即可形成完整的体系，模糊、冗余、成本等问题自然消失

13. 1.3 数仓体系实践

14. 建模核心思想实体与行为高度抽象，数据模型跨业务线、跨风险域整合，数据做少做精举例：到餐、外卖、酒店等业务都有支付环节，行为是“支付”，而不是到餐支付、外卖支付……

15. 每层数据模型存什么内容？将经典数仓分层理论与内容框架结合明确各层内容实体 ︑ 行为稳定核心模型稳定实体 ︑ 行为可枚举核心模型可枚举

16. 内容框架+数仓分层的意义数百核心数据模型 = 完整的数仓内容体系单一行为单一实体只对应一个事实模型只对应一个主题模型少量核心的统计、序列聚合模型一个参数维表，少量核心的画像、关系维表

17. FACT(DWD)-体系基石行为跨域整合实体维度退化支付行为事实支付行为事实到餐外卖 …… 参数登注时间手机号(脱敏) 用户示例各类画像画像 …… 关系 …… 多业务线多风险域利于安全能力覆盖分区解决性能问题商户设备决定安全能力的边界没有实体参数等维度信息，风险几乎无法判断

18. AGGR(DWS)-海量计算支撑模型唯一分层上卷相同“行为 × 实体 × 时间”的聚合模型只建一个基于细粒度“行为 × 实体 × 时间” 聚合模型，上卷出粗粒度模型支撑多维度、大规模统计特征计算示例

19. DIM与TOPIC-实体全面刻画示例单一实体只建设一个主题模型，起“特征字典”的作用用户主题参数画像用户参数维表关系行为序列行为统计用户画像维表A 多视角 …… 用户-商户关系 …… DIM层退款统计行为序列 AGGR层支付统计唯一性多组合

20. 实践效果支撑大量AI应用落地，如风险运营、审核，显著提高运营效率；成本可控下计算出上千维大规模统计特征，大幅提升对抗能力新增资产数量减少约60%，数据质量明显改善；重构部分历史链路，存量数据成本降低约20%

21. 2 AI赋能安全数仓

22. AI能接管数据开发和治理吗 AI应用已在客服、审核、运营、Coding等领域效果显著数据开发作为一个成熟领域，是否也有很大的提效空间？数据开发流程（简化）需求理解数据模型设计数据检索 / 探查代码开发 / 测试上线 / 交付落地治理动作效果评估回收基于“实体 × 行为”内容框架，理论上AI可以完成数仓建模中模糊度最高的工作数据治理流程（简化）资源异常感知下钻定位问题设计治理方案工具链打通后，基座模型+知识库足够完成该部分

23. 智能化数仓理想方案需求理解感知监控模型设计治理优化方案规划 AI方案设计 AI评估治理工具方案实现数据检索技术优化知识库数据探查质量测试方案迭代 AI数据探查 AI Coding

24. AI数据模型设计能力实践流程搭建 Prompt工程方案设计助手资产知识库 Prompt样例根据需求，AI能够给出合理的设计方案

25. AI数据探查+Coding能力实践流程搭建目标表检索数据服务工作流数据资产Meta 资产知识库探查工作流样例 Schema读取代码编写

26. AI数据治理能力实践流程搭建资源、流量大盘资源波动分析数据服务工作流数据资产Meta 资产知识库治理分析工作流样例异常任务分析任务优化建议

27. 下一步演进方向短期内完善知识库：某些知识只存在于人脑中，如何收集、管理、供给多领域、多模态的高质量知识中长期推动Copilot向Agent演进：加强各环节的AI原子能力；串联出完整的应用，当前工具链路割裂，需要发展时间；此外，评估、纠错与兜底机制也需要完善

28. Q&A

29. 更多技术干货欢迎关注“美团技术团队”