美团图学习技术探索实践

1. 美团图学习技术探索实践张梦迪美团知识计算负责人

2. 目录 01 多源异构图学习 03 图预训练新零售场景建模图学习两阶段范式探索 02 超大图训练加速 04 总结展望引擎、框架、平台设计

3. 01 多源异构图学习新零售场景建模

4. 美团：零售+科技

5. 美团数据维度静态的领域知识+动态的交互行为 11亿+商品 3,000万全球商 2亿+店菜家 70亿累计用户评价 100万个场景标签

6. 偏静态的领域知识用户场景美团大脑商品商户

7. 美团知识图谱 2018 餐饮图谱 2019 标签图谱场景图谱 2020 商品图谱药品图谱酒旅图谱到综图谱 2021 跨领域图谱围绕吃喝玩乐，构建生活娱乐领域超大规模的知识图谱

8. 知识图谱增强推荐 I I A a O F I U S DSSM T C N P

9. 知识图谱增强推荐 – KGCN_LS Users Items Non-item entities …… User engagement labels ? !" ∈ {0,1} Knowledge graph ? Goal: Learn predicted engagement probability ? ! !" Knowledge Graph Convolutional Networks for Recommender Systems with Label Smoothness Regularization, KDD2019

10. 知识图谱增强推荐 – KGCN_LS Step 2 Entity (item) embeddings Step 3 GNN predict Step 1 User embeddings learn edge weights Original KG loss( ?, ! ?) Adjacency matrix ? ! !" (predicted labels by GNN) Knowledge-aware Graph Neural Networks Knowledge Graph Convolutional Networks for Recommender Systems with Label Smoothness Regularization, KDD2019 ? !" (ground truth)

11. 知识图谱增强推荐 – KGCN_LS Step 2 Entity (item) embeddings Step 3 GNN predict Step 1 User embeddings learn edge weights Original KG loss( ?, ! ?) Adjacency matrix ? ! !" (predicted labels by GNN) ? !" (ground truth) Step 4: Label propagation loss( ?, $ ?) ? $ !" (predicted labels by LPA) Knowledge Graph Convolutional Networks for Recommender Systems with Label Smoothness Regularization, KDD2019

12. 知识图谱增强推荐 – KGCN_LS Step 2 Entity (item) embeddings Step 3 GNN predict Step 1 User embeddings learn edge weights Original KG loss( ?, ! ?) Adjacency matrix ? ! !" (predicted labels by GNN) ? !" (ground truth) Step 4: Label propagation Label Smoothness Regularization Knowledge Graph Convolutional Networks for Recommender Systems with Label Smoothness Regularization, KDD2019 loss( ?, $ ?) ? $ !" (predicted labels by LPA)

13. 偏动态的交互行为？？ User POI “毛巾卷” 推荐 POI 风控 + + POI waybill take 搜索 cake 配送 Rider click Query click ？ towel ？ login Product User ？ - -

14. 时空图增强推荐 - STGCN Ø P P6 I O8 1 0 - I4 STGCN: A Spatial-Temporal Aware Graph Learning Method for POI Recommendation （ICDM2020） 6 I 2 :

15. 时空图增强推荐 - STGCN g Øe n Ø R I e h Rm / t t Ø gt Ø e Ø P tP Ø e Ø Ø la i t o n t i Ø Ø I O t gt o hp r STGCN: A Spatial-Temporal Aware Graph Learning Method for POI Recommendation （ICDM2020） I

16. 时空图增强推荐 - STGCN STGCN: A Spatial-Temporal Aware Graph Learning Method for POI Recommendation （ICDM2020）

17. 面向排序应用的GNN - ListGNN

18. 02 超大图训练加速请引擎、框架、平台设计

19. 业务场景 | 建模方案多样

20. 业务场景 | 建模方案举例

21. 图学习平台 | 算法研发视角训练引擎的选取对GNN的理解深度不一需要方便快捷的迭代方式面向业务场景的标准化评测与上下游模块的整合

22. 图学习平台 | 平台框架图片区图片区

23. 图学习平台 | 离线训练框架

24. 图学习平台 | 离线训练流程

25. 图学习平台 | 面向业务场景的定制模型自研LBS场景下的推荐模型 • 知识图谱个性化推荐-KGCN_LS (KDD2019) • LBS时空推荐-STGCN (ICDM2020) • 基于解耦表征的推荐-SemanticGCN (Dasfaa2021) 经典GNN模型在业务场景下的改造样本构造策略采样策略 SOTA模型的持续集成消息函数聚合函数损失函数多种模型融合

26. 业务场景 | 大规模图 • 用户-商品交互图 • 点评评论社交网络 • 美团大脑知识图谱 • 百科常识知识图谱 …… 千亿百亿千万 • 全品类商户同构图 • 大搜Query同构图 • 商户/商圈/商区层次图 …… 百万 • 分品类商户同构图 …… • 用户-商户交互图 • 用户多介质关联风控图 • 时空路网 ……

27. 优化大规模图 | 内存占用优化图数据结构 • 支持单机训练百亿边规模的图 • 支持快速随机读取 • 兼容主流图学习引擎接口技术方案 • 基于CSR格式进一步压缩 • 节点重编号/邻接边分块存储/差分编码

28. 优化大规模图 | 内存占用优化效果 • 相较于DGL，图数据结构的内存占用降低 80% • 压缩后，邻接边采样采样速度仅降低10% • 稳定支持单机百亿边规模的训练 • 单机最大可达千亿边规模

29. 优化大规模图 | 邻接边采样技术方案 • 降低内存占用：量化采样概率 • 加速采样过程：预处理采样索引量化采样概率采样索引 • 分解概率 • 二叉树采样 • 优化目标 • 支持有放回和无放回采样 • O(|E|)预处理时间

30. 优化大规模图 | 邻接边采样优化效果 • 内存占用大幅降低，每条边权重仅1字节采样过程的内存消耗（图结构+权重） • 相较于DGL，加权采样提速2~3倍采样用时（fanout=20,20; 16 cores）

31. 03 图学习预训练两阶段范式探索

32. 全平台数据融合

33. 美团图学习技术探索 • 美团图学习技术落地路线 • 多源异构图学习：电商图谱、时空交互行为、富文本内容，针对数据特性的端到端建模。 • 超大图训练加速：易用的框架和平台提升人效；存储及采样优化提升机效。 • 图学习预训练：全平台数据融合，统一大图的通用任务预训练，针对具体业务及任务的知识迁移。 • 图学习技术展望 • 域内场景下，丰富及适合的自监督任务设计：结构 vs 语义？ • 更强的图特征提取器：GNN vs Transformer？ • 跨域场景下，是否存在可迁移的结构或语义知识？

34. 非常感谢您的观看

35. 美团NLP中心欢迎大家加入！算法方向：预训练、文本理解、图谱构建、知识计算工作地点：北京、上海投递邮箱：zhangmengdi02@meituan.com