1. 曲率学习框架(CurvLearn)及其 在阿里妈妈搜索广告中的应用 演讲者：温世阳 合作者：徐志荣、单傲、吴天舒、刘国俊、王亮等 阿里巴巴 2021/12/18 阿 里 妈 妈 让 每 一 份 经 营 都 算 数

2. 目录 C O N T E N T S 曲率空间表征学习 双曲空间下的类目预测 自适应混合曲率空间下的图召回 CurvLearn曲率学习框架

3. Part.01 曲率空间表征学习 阿 里 妈 妈 让 每 一 份 经 营 都 算 数

4. 欧氏空间不是普适的 将地球球面数据嵌入平坦地图（欧氏空间）总会带来精度损失， 那么将具有复杂结构的数据嵌入到欧氏空间中呢？ 古德投影，面积更准确 墨卡托投影，形状更准确

5. 欧氏空间ℝ ! 不能无损嵌入图数据 [1] 图数据通常可以分解为树结构与环结构。 样例结构中异色节点间距离为1，同色节点间距离为2。嵌入到欧氏空间无法同时刻画真实距离并维持原有结构。 𝑦 𝑦 c c a 𝑂 a 实际距离=2 欧氏距离= 3 $ 实际距离=2 b 欧氏距离= 2 b 𝑥 最小误差为 √& [1] Bachmann, Gregor et al. “Constant Curvature Graph Convolutional Networks.” ICML (2020). 𝑂 $ 最小误差为 √$ 𝑥

6. 曲率空间 曲率用来衡量空间的弯曲程度。 欧氏空间中曲面的推广，是局部平坦而整体弯曲的空间。 常曲率空间 欧氏空间 各处曲率均为0 平行线有且只有1条 三角形内角和为180° 双曲空间 各处曲率均为负 平行线有∞条 三角形内角和小于180° 混合曲率空间 球面空间 各处曲率均为正 不存在平行线 三角形内角和大于180° 例：环面空间 空间各处曲率复杂多变 更广义更难以计算 图例为两个一维球面空间的 笛卡尔积S ! ×S !

7. 欧氏空间特性 [2] 向量操作简单且符合直觉，富含语义 各维度平等均匀，具备平移不变性 适合建模网格数据，如图像 [2] Bronstein, Michael M. et al. “Geometric Deep Learning: Going beyond Euclidean data.” IEEE Signal Processing Magazine 34 (2017): 18-42.

8. 双曲空间优势 [3,4] 体积随半径指数增长 双曲距离分布等价于幂律分布 无损表征树结构 建模大规模数据 建模无尺度网络 建模层次结构 [3] Nickel, Maximilian and Douwe Kiela. “Poincaré Embeddings for Learning Hierarchical Representations.” NeurIPS (2017). [4] Krioukov, Dmitri V. et al. “Hyperbolic Geometry of Complex Networks.” Physical review. E, Statistical, nonlinear, and soft matter physics 82 3 Pt 2 (2010): 036106.

9. 球面空间优势 [1] 等价于角度度量，具备旋转不变性 无损表征环结构 建模球面/环状数据 [1] Bachmann, Gregor et al. “Constant Curvature Graph Convolutional Networks.” ICML (2020).

10. 混合曲率空间优势 [5] 空间分布不均，曲率复杂多变 同时具备多种几何特性 建模多种结构并存数据 [5] Gu, Albert et al. “Learning Mixed-Curvature Representations in Product Spaces.” ICLR (2019). 层次结构 环状结构

11. Part.02 双曲空间下的类目预测 阿 里 妈 妈 让 每 一 份 经 营 都 算 数

12. 类目预测背景 类目树 • 目标：预测query对应的商品类目 （category） • 处于搜索广告系统链路最上游，应 用于召回、排序、相关性等各个模 块中，决定了搜索请求和展现结果 间的相关程度。 根 Query iPhone 12 pro max 映射 手 机 女 装 上 衣 T 恤 二 手 裤 子 夹 克 手 机 电 脑

13. 为什么要使用双曲空间？ 欧式空间不足以容纳指数级节点增长 欧氏距离不能精确刻画树节点距离 双曲空间指数级容量足够容纳树形数据 双曲距离完美表达叶子节点间距 Hyperbolic distance 欧氏表征 双曲表征 双曲距离契合树结构的特性

14. 用户行为+文本图构建 节点 冬 季 羽 绒 服 query/bidword cate term 保 暖 保暖加绒运动服 冬季牛仔裤 加 绒 边构建 休闲运 动套装 q-c：query用户点击/bidword广告主购买 c-c：类目树结构 q-t/c-t：分词 q-q：同点击/共同购买bidword t-t：共现关系挖掘 牛 仔 裤 套装 女装 牛仔裤 query cate 李宁新款套装 破洞牛仔裤 term 套 装 新 款 李 宁

15. 多阶段双曲类目预测模型MSHM 冬 季 保 暖 保暖加绒运动服 co-click 冬季牛仔裤 冬季牛仔裤 2021新款李维斯 牛 仔 裤 语义包含 加 绒 休闲运 动套装 套装 女装 语义包含 冬季浅色牛仔裤 冬季加绒牛仔裤 语义包含 co-click 2021新款李维斯牛仔裤 牛仔裤 语义包含 co-click 语义包含 co-click 套 装 破洞牛仔裤 2021李宁新款套装 cate-cate阶段 类目树预训练，利用双 曲空间捕捉类目节点之 间的层次关系 query-cate阶段 建模头部query-cate关系 加厚耐磨裤子 冬季加绒浅色牛仔裤 query-query阶段 将头部query-cate关系泛 化到中尾部query

16. Cate-Cate预训练 淘宝类目树一共有四层，共有4.3万个节点，其中3.8万为叶子结点，是一个典型的多叉树结构。 样本构建 正样本：一个类目路径中通过滑动窗口获取正样本对 负样本：同层采样其他节点作为负样本 模型训练 模型：双曲空间下的对比学习 目标：正样本间距离尽量近，负样本间距离尽量远

17. Query-Cate阶段 建模头部query-cate关系 Hyper DNN Hyper DNN Hyper DNN Hyper DNN 样本构建 正样本：query-cate（点击）/bidword-cate（买词） 负样本：hard-同父的兄弟节点；easy-同层节点随机采样 学习目标 ... NLP特征 HGCN特征 Q C- C+ ... query/bidword与cate + 的距离尽量近，与cate - 的距离尽量远。 冬 季 冬季黑色牛仔裤 保 暖 保暖加绒运动服 模型训练 冬季牛仔裤 牛 仔 裤 冬季加绒牛仔裤 加 绒 模型：双曲空间+图学习 使用cate-cate阶段得到的cate向量进行初始化 休闲运 动套装 套装 女装 牛仔裤 套 装 2021李宁新款套装 破洞牛仔裤 C-

18. Query-Query阶段 将头部query-cate关系泛化到中尾部query 样本构建 正样本： query共点击（“iPhone 12 pro” vs. “iPhone 12”） query分词包含（“夏季连衣裙” vs. “夏季清凉雪纺连衣裙”） 负样本：不同类目下query随机采样 模型训练 固定头部query embedding，将信息从头部泛化到中长尾

19. 实验效果 三阶段模型MSHM query类型 双曲空间图模型 欧氏空间图模型 头部query 0.95 0.94 中部query 0.84 0.79 尾部query 0.71 0.66 从AUC指标看，双曲空间优于欧氏空间，说明其能更好 地捕捉图数据中的层次结构，对长尾节点效果提升尤为 明显。

20. 类目向量可视化 双曲空间可以明显区分不同层级的类目节点 高层类目（粗粒度）分布在圆心，低层类目（细粒度）分布在边缘，符合树结构的分布规律 全部节点 “女装”类目树 “男装”类目树 “美容护肤”类目树

21. Part.03 自适应混合曲率空间下的图召回 阿 里 妈 妈 让 每 一 份 经 营 都 算 数

22. 淘宝搜索广告系统流程 User • 搜索广告系统链路：召回→排序（粗排、 精排、重排） →机制 • 召回目标：高效检索出具有高价值（相关 性好、点击率高、出价较高等）的广告候 选，即Efficiency和Effectiveness的平衡 pose query Taobao App user + user info Sponsored search engine Auction mechanism Ad Organic Products Ranking Ad Retrieval Ad pool

23. 大规模异构图构造 i2 i3 a1 a2 十亿级节点 学习目标 百亿级边 用户行为边：Clicking/Co-clicking 广告主行为边：Co-bidding 语义相似边：Semantic 节点类型: Query/Item/Ad 特征: ID/Term/Cate/Shop/ Brand/Property等 a1 u1 q1 i1 Q2Q/Q2I/Q2A/ I2Q/I2I/I2A六种关系， 用于线上召回 a1 i1 i1 q1 a2 q1 a2 i5 u2 q2 i4 i2 i3 i2 a3 i3 a3 i4 q2 q3 i3 i2 a3 i4 u3 i5 i6 q3 q2 i6 q3 i6 i5 Users’ Behavior Sequences User Behavior Network Final Heterogeneous Network

24. 图数据特性 自适应 混合曲率空间 Item/Ad易成环 Query易层次化 同一query下有共同点击或共同买词 构图逻辑自然成环 上下位词关系 挂载到类目树的不同层级 不同异构关系下几何特性不同 按关系区分不同空间 Q2Q更层次，I2I更聚集 Q2I、Q2A等难以判断

25. 自适应混合曲率空间节点表征 同时使用K个自适应子 空间向量表征节点 Unified Curvature K subspaces i1 q1 Cate Feature i5 a3 i3 i2 i6 q3 +1 Manifold-wise Embedding Concatenation Space-wise Embedding Lookup K subspaces Term Feature i4 q2 自适应空间在三种空 间中自动调整变换 ID Feature a1 a2 多种子空间融合信息， 防止割裂拓扑结构 K subspaces Inductive Learning Fuse Emb.. Graph Neural Network Context Encoding 0 <latexit sha1_base64="gYJa+h4eRi6XDaD289+2EUHPjMA=">AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0mKqMeiF48t2FpoQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgpr6xubW8Xt0s7u3v5B+fCoreNUMWyxWMSqE1CNgktsGW4EdhKFNAoEPgTj25n/8IRK81jem0mCfkSHkoecUWOlptsvV9yqOwdZJV5OKpCj0S9/9QYxSyOUhgmqdddzE+NnVBnOBE5LvVRjQtmYDrFrqaQRaj+bHzolZ1YZkDBWtqQhc/X3REYjrSdRYDsjakZ62ZuJ/3nd1ITXfsZlkhqUbLEoTAUxMZl9TQZcITNiYgllittbCRtRRZmx2ZRsCN7yy6ukXat6l9Va86JSv8njKMIJnMI5eHAFdbiDBrSAAcIzvMKb8+i8OO/Ox6K14OQzx/AHzucPe2OMuw==</latexit> <latexit sha1_base64="OJuzitNO7TR8US5BHDLreSPGd1c=">AAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBiyUpoh6LXjxWsB/QhrLZbtqlm03YnQih9Ed48aCIV3+PN/+N2zYHbX0w8Hhvhpl5QSKFQdf9dgpr6xubW8Xt0s7u3v5B+fCoZeJUM95ksYx1J6CGS6F4EwVK3kk0p1EgeTsY38389hPXRsTqEbOE+xEdKhEKRtFK7YueUCFm/XLFrbpzkFXi5aQCORr98ldvELM04gqZpMZ0PTdBf0I1Cib5tNRLDU8oG9Mh71qqaMSNP5mfOyVnVhmQMNa2FJK5+ntiQiNjsiiwnRHFkVn2ZuJ/XjfF8MafCJWkyBVbLApTSTAms9/JQGjOUGaWUKaFvZWwEdWUoU2oZEPwll9eJa1a1buq1h4uK/XbPI4inMApnIMH11CHe2hAExiM4Rle4c1JnBfn3flYtBacfOYY/sD5/AEuuI96</latexit> Space Fusion Node-level Adaptive Mixed-curvature Encoder 1

26. 混合曲率空间相似度 同空间映射：将异构节点根据边类型投 影到相应的几何空间 多空间距离融合：维持双塔架构，使用Attention机制计 算不同子空间权重。 Edge-wise Embedding  q <latexit sha1_base64="Y0ivHpHfcNP5PXzIjjlhzUJKGKQ=">AAAB+HicbVBNS8NAEN3Ur1o/GvXoZbEIHqQkRdRj0YvHCvYD2hgm2027dLOJuxuhhv4SLx4U8epP8ea/cdvmoK0PBh7vzTAzL0g4U9pxvq3Cyura+kZxs7S1vbNbtvf2WypOJaFNEvNYdgJQlDNBm5ppTjuJpBAFnLaD0fXUbz9SqVgs7vQ4oV4EA8FCRkAbybfLvREkCdxnDz0fTt2Jb1ecqjMDXiZuTiooR8O3v3r9mKQRFZpwUKrrOon2MpCaEU4npV6qaAJkBAPaNVRARJWXzQ6f4GOj9HEYS1NC45n6eyKDSKlxFJjOCPRQLXpT8T+vm+rw0suYSFJNBZkvClOOdYynKeA+k5RoPjYEiGTmVkyGIIFok1XJhOAuvrxMWrWqe16t3Z5V6ld5HEV0iI7QCXLRBaqjG9RATURQip7RK3qznqwX6936mLcWrHzmAP2B9fkDbdKS8Q==</latexit> a,1  q <latexit sha1_base64="KDCFhx4cJl1w9xdiMo7qPYx+bRU=">AAAB+HicbVBNS8NAEN3Ur1o/GvXoZbEIHqQkRdRj0YvHCvYD2hgm2027dLOJuxuhhv4SLx4U8epP8ea/cdvmoK0PBh7vzTAzL0g4U9pxvq3Cyura+kZxs7S1vbNbtvf2WypOJaFNEvNYdgJQlDNBm5ppTjuJpBAFnLaD0fXUbz9SqVgs7vQ4oV4EA8FCRkAbybfLvREkCdxnDz0fTmsT3644VWcGvEzcnFRQjoZvf/X6MUkjKjThoFTXdRLtZSA1I5xOSr1U0QTICAa0a6iAiCovmx0+wcdG6eMwlqaExjP190QGkVLjKDCdEeihWvSm4n9eN9XhpZcxkaSaCjJfFKYc6xhPU8B9JinRfGwIEMnMrZgMQQLRJquSCcFdfHmZtGpV97xauz2r1K/yOIroEB2hE+SiC1RHN6iBmoigFD2jV/RmPVkv1rv1MW8tWPnMAfoD6/MHb1eS8g==</latexit> a,2  q <latexit sha1_base64="OM0q3980lbCHUl1/HjVFpQtVt0k=">AAAB+HicbVBNS8NAEN34WetHox69LBbBg5SkinosevFYwX5AE8Nku22XbpJ1dyPU0F/ixYMiXv0p3vw3btsctPXBwOO9GWbmhYIzpR3n21paXlldWy9sFDe3tndK9u5eUyWpJLRBEp7IdgiKchbThmaa07aQFKKQ01Y4vJ74rUcqFUviOz0S1I+gH7MeI6CNFNglbwhCwH324AVwcjoO7LJTcabAi8TNSRnlqAf2l9dNSBrRWBMOSnVcR2g/A6kZ4XRc9FJFBZAh9GnH0BgiqvxsevgYHxmli3uJNBVrPFV/T2QQKTWKQtMZgR6oeW8i/ud1Ut279DMWi1TTmMwW9VKOdYInKeAuk5RoPjIEiGTmVkwGIIFok1XRhODOv7xImtWKe16p3p6Va1d5HAV0gA7RMXLRBaqhG1RHDURQip7RK3qznqwX6936mLUuWfnMPvoD6/MHcNyS8w==</latexit> a,3  q <latexit sha1_base64="Y0ivHpHfcNP5PXzIjjlhzUJKGKQ=">AAAB+HicbVBNS8NAEN3Ur1o/GvXoZbEIHqQkRdRj0YvHCvYD2hgm2027dLOJuxuhhv4SLx4U8epP8ea/cdvmoK0PBh7vzTAzL0g4U9pxvq3Cyura+kZxs7S1vbNbtvf2WypOJaFNEvNYdgJQlDNBm5ppTjuJpBAFnLaD0fXUbz9SqVgs7vQ4oV4EA8FCRkAbybfLvREkCdxnDz0fTt2Jb1ecqjMDXiZuTiooR8O3v3r9mKQRFZpwUKrrOon2MpCaEU4npV6qaAJkBAPaNVRARJWXzQ6f4GOj9HEYS1NC45n6eyKDSKlxFJjOCPRQLXpT8T+vm+rw0suYSFJNBZkvClOOdYynKeA+k5RoPjYEiGTmVkyGIIFok1XJhOAuvrxMWrWqe16t3Z5V6ld5HEV0iI7QCXLRBaqjG9RATURQip7RK3qznqwX6936mLcWrHzmAP2B9fkDbdKS8Q==</latexit> a,1  q <latexit sha1_base64="KDCFhx4cJl1w9xdiMo7qPYx+bRU=">AAAB+HicbVBNS8NAEN3Ur1o/GvXoZbEIHqQkRdRj0YvHCvYD2hgm2027dLOJuxuhhv4SLx4U8epP8ea/cdvmoK0PBh7vzTAzL0g4U9pxvq3Cyura+kZxs7S1vbNbtvf2WypOJaFNEvNYdgJQlDNBm5ppTjuJpBAFnLaD0fXUbz9SqVgs7vQ4oV4EA8FCRkAbybfLvREkCdxnDz0fTmsT3644VWcGvEzcnFRQjoZvf/X6MUkjKjThoFTXdRLtZSA1I5xOSr1U0QTICAa0a6iAiCovmx0+wcdG6eMwlqaExjP190QGkVLjKDCdEeihWvSm4n9eN9XhpZcxkaSaCjJfFKYc6xhPU8B9JinRfGwIEMnMrZgMQQLRJquSCcFdfHmZtGpV97xauz2r1K/yOIroEB2hE+SiC1RHN6iBmoigFD2jV/RmPVkv1rv1MW8tWPnMAfoD6/MHb1eS8g==</latexit> a,2  q <latexit sha1_base64="OM0q3980lbCHUl1/HjVFpQtVt0k=">AAAB+HicbVBNS8NAEN34WetHox69LBbBg5SkinosevFYwX5AE8Nku22XbpJ1dyPU0F/ixYMiXv0p3vw3btsctPXBwOO9GWbmhYIzpR3n21paXlldWy9sFDe3tndK9u5eUyWpJLRBEp7IdgiKchbThmaa07aQFKKQ01Y4vJ74rUcqFUviOz0S1I+gH7MeI6CNFNglbwhCwH324AVwcjoO7LJTcabAi8TNSRnlqAf2l9dNSBrRWBMOSnVcR2g/A6kZ4XRc9FJFBZAh9GnH0BgiqvxsevgYHxmli3uJNBVrPFV/T2QQKTWKQtMZgR6oeW8i/ud1Ut279DMWi1TTmMwW9VKOdYInKeAuk5RoPjIEiGTmVkwGIIFok1XRhODOv7xImtWKe16p3p6Va1d5HAV0gA7RMXLRBaqhG1RHDURQip7RK3qznqwX6936mLUuWfnMPvoD6/MHcNyS8w==</latexit> a,3 Distance 1  q <latexit sha1_base64="Y0ivHpHfcNP5PXzIjjlhzUJKGKQ=">AAAB+HicbVBNS8NAEN3Ur1o/GvXoZbEIHqQkRdRj0YvHCvYD2hgm2027dLOJuxuhhv4SLx4U8epP8ea/cdvmoK0PBh7vzTAzL0g4U9pxvq3Cyura+kZxs7S1vbNbtvf2WypOJaFNEvNYdgJQlDNBm5ppTjuJpBAFnLaD0fXUbz9SqVgs7vQ4oV4EA8FCRkAbybfLvREkCdxnDz0fTt2Jb1ecqjMDXiZuTiooR8O3v3r9mKQRFZpwUKrrOon2MpCaEU4npV6qaAJkBAPaNVRARJWXzQ6f4GOj9HEYS1NC45n6eyKDSKlxFJjOCPRQLXpT8T+vm+rw0suYSFJNBZkvClOOdYynKeA+k5RoPjYEiGTmVkyGIIFok1XJhOAuvrxMWrWqe16t3Z5V6ld5HEV0iI7QCXLRBaqjG9RATURQip7RK3qznqwX6936mLcWrHzmAP2B9fkDbdKS8Q==</latexit> Q-Q Space Q-A Space  q,1 <latexit sha1_base64="trIWTotOKofYYu5bxRKH65/qf28=">AAAB83icbVBNSwMxEM3Wr1q/qh69BIvgQcpuEfVY9OKxgv2A7lpm02wbms3GJCuUpX/DiwdFvPpnvPlvTNs9aOuDgcd7M8zMCyVn2rjut1NYWV1b3yhulra2d3b3yvsHLZ2kitAmSXiiOiFoypmgTcMMpx2pKMQhp+1wdDP1209UaZaIezOWNIhhIFjECBgr+f4IpISH7PHMm/TKFbfqzoCXiZeTCsrR6JW//H5C0pgKQzho3fVcaYIMlGGE00nJTzWVQEYwoF1LBcRUB9ns5gk+sUofR4myJQyeqb8nMoi1Hseh7YzBDPWiNxX/87qpia6CjAmZGirIfFGUcmwSPA0A95mixPCxJUAUs7diMgQFxNiYSjYEb/HlZdKqVb2Lau3uvFK/zuMooiN0jE6Rhy5RHd2iBmoigiR6Rq/ozUmdF+fd+Zi3Fpx85hD9gfP5A8kIkYY=</latexit>  q,2 <latexit sha1_base64="1iM/eFYMCba7rzPtZlUvfQTEkSE=">AAAB83icbVBNSwMxEJ2tX7V+VT16CRbBg5TdIuqx6MVjBfsB3bVk02wbms3GJCuUpX/DiwdFvPpnvPlvTNs9aOuDgcd7M8zMCyVn2rjut1NYWV1b3yhulra2d3b3yvsHLZ2kitAmSXiiOiHWlDNBm4YZTjtSURyHnLbD0c3Ubz9RpVki7s1Y0iDGA8EiRrCxku+PsJT4IXs8q0165YpbdWdAy8TLSQVyNHrlL7+fkDSmwhCOte56rjRBhpVhhNNJyU81lZiM8IB2LRU4pjrIZjdP0IlV+ihKlC1h0Ez9PZHhWOtxHNrOGJuhXvSm4n9eNzXRVZAxIVNDBZkvilKOTIKmAaA+U5QYPrYEE8XsrYgMscLE2JhKNgRv8eVl0qpVvYtq7e68Ur/O4yjCERzDKXhwCXW4hQY0gYCEZ3iFNyd1Xpx352PeWnDymUP4A+fzB8qNkYc=</latexit>  q,3  q <latexit sha1_base64="KDCFhx4cJl1w9xdiMo7qPYx+bRU=">AAAB+HicbVBNS8NAEN3Ur1o/GvXoZbEIHqQkRdRj0YvHCvYD2hgm2027dLOJuxuhhv4SLx4U8epP8ea/cdvmoK0PBh7vzTAzL0g4U9pxvq3Cyura+kZxs7S1vbNbtvf2WypOJaFNEvNYdgJQlDNBm5ppTjuJpBAFnLaD0fXUbz9SqVgs7vQ4oV4EA8FCRkAbybfLvREkCdxnDz0fTmsT3644VWcGvEzcnFRQjoZvf/X6MUkjKjThoFTXdRLtZSA1I5xOSr1U0QTICAa0a6iAiCovmx0+wcdG6eMwlqaExjP190QGkVLjKDCdEeihWvSm4n9eN9XhpZcxkaSaCjJfFKYc6xhPU8B9JinRfGwIEMnMrZgMQQLRJquSCcFdfHmZtGpV97xauz2r1K/yOIroEB2hE+SiC1RHN6iBmoigFD2jV/RmPVkv1rv1MW8tWPnMAfoD6/MHb1eS8g==</latexit> a,2  q <latexit sha1_base64="OM0q3980lbCHUl1/HjVFpQtVt0k=">AAAB+HicbVBNS8NAEN34WetHox69LBbBg5SkinosevFYwX5AE8Nku22XbpJ1dyPU0F/ixYMiXv0p3vw3btsctPXBwOO9GWbmhYIzpR3n21paXlldWy9sFDe3tndK9u5eUyWpJLRBEp7IdgiKchbThmaa07aQFKKQ01Y4vJ74rUcqFUviOz0S1I+gH7MeI6CNFNglbwhCwH324AVwcjoO7LJTcabAi8TNSRnlqAf2l9dNSBrRWBMOSnVcR2g/A6kZ4XRc9FJFBZAh9GnH0BgiqvxsevgYHxmli3uJNBVrPFV/T2QQKTWKQtMZgR6oeW8i/ud1Ut279DMWi1TTmMwW9VKOdYInKeAuk5RoPjIEiGTmVkwGIIFok1XRhODOv7xImtWKe16p3p6Va1d5HAV0gA7RMXLRBaqhG1RHDURQip7RK3qznqwX6936mLUuWfnMPvoD6/MHcNyS8w==</latexit> I-A Space … Mapping Mapping a,1 Distance 2 a,3 Distance 3  q <latexit sha1_base64="Y0ivHpHfcNP5PXzIjjlhzUJKGKQ=">AAAB+HicbVBNS8NAEN3Ur1o/GvXoZbEIHqQkRdRj0YvHCvYD2hgm2027dLOJuxuhhv4SLx4U8epP8ea/cdvmoK0PBh7vzTAzL0g4U9pxvq3Cyura+kZxs7S1vbNbtvf2WypOJaFNEvNYdgJQlDNBm5ppTjuJpBAFnLaD0fXUbz9SqVgs7vQ4oV4EA8FCRkAbybfLvREkCdxnDz0fTt2Jb1ecqjMDXiZuTiooR8O3v3r9mKQRFZpwUKrrOon2MpCaEU4npV6qaAJkBAPaNVRARJWXzQ6f4GOj9HEYS1NC45n6eyKDSKlxFJjOCPRQLXpT8T+vm+rw0suYSFJNBZkvClOOdYynKeA+k5RoPjYEiGTmVkyGIIFok1XJhOAuvrxMWrWqe16t3Z5V6ld5HEV0iI7QCXLRBaqjG9RATURQip7RK3qznqwX6936mLcWrHzmAP2B9fkDbdKS8Q==</latexit> Source a,1  q <latexit sha1_base64="KDCFhx4cJl1w9xdiMo7qPYx+bRU=">AAAB+HicbVBNS8NAEN3Ur1o/GvXoZbEIHqQkRdRj0YvHCvYD2hgm2027dLOJuxuhhv4SLx4U8epP8ea/cdvmoK0PBh7vzTAzL0g4U9pxvq3Cyura+kZxs7S1vbNbtvf2WypOJaFNEvNYdgJQlDNBm5ppTjuJpBAFnLaD0fXUbz9SqVgs7vQ4oV4EA8FCRkAbybfLvREkCdxnDz0fTmsT3644VWcGvEzcnFRQjoZvf/X6MUkjKjThoFTXdRLtZSA1I5xOSr1U0QTICAa0a6iAiCovmx0+wcdG6eMwlqaExjP190QGkVLjKDCdEeihWvSm4n9eN9XhpZcxkaSaCjJfFKYc6xhPU8B9JinRfGwIEMnMrZgMQQLRJquSCcFdfHmZtGpV97xauz2r1K/yOIroEB2hE+SiC1RHN6iBmoigFD2jV/RmPVkv1rv1MW8tWPnMAfoD6/MHb1eS8g==</latexit> a,2  q <latexit sha1_base64="OM0q3980lbCHUl1/HjVFpQtVt0k=">AAAB+HicbVBNS8NAEN34WetHox69LBbBg5SkinosevFYwX5AE8Nku22XbpJ1dyPU0F/ixYMiXv0p3vw3btsctPXBwOO9GWbmhYIzpR3n21paXlldWy9sFDe3tndK9u5eUyWpJLRBEp7IdgiKchbThmaa07aQFKKQ01Y4vJ74rUcqFUviOz0S1I+gH7MeI6CNFNglbwhCwH324AVwcjoO7LJTcabAi8TNSRnlqAf2l9dNSBrRWBMOSnVcR2g/A6kZ4XRc9FJFBZAh9GnH0BgiqvxsevgYHxmli3uJNBVrPFV/T2QQKTWKQtMZgR6oeW8i/ud1Ut279DMWi1TTmMwW9VKOdYInKeAuk5RoPjIEiGTmVkwGIIFok1XRhODOv7xImtWKe16p3p6Va1d5HAV0gA7RMXLRBaqhG1RHDURQip7RK3qznqwX6936mLUuWfnMPvoD6/MHcNyS8w==</latexit> a,3 Target × Concat Concat MLP MLP Softmax Softmax <latexit sha1_base64="Rx1rXp4kNTjnCbEktMDN6CkYBC8=">AAAB83icbVBNSwMxEJ31s9avqkcvwSJ4kLJbRT0WvXisYD+gu5Zsmm1Ds9mYZIWy9G948aCIV/+MN/+NabsHbX0w8Hhvhpl5oeRMG9f9dpaWV1bX1gsbxc2t7Z3d0t5+UyepIrRBEp6odog15UzQhmGG07ZUFMchp61weDPxW09UaZaIezOSNIhxX7CIEWys5PtDLCV+yB5Pz8bdUtmtuFOgReLlpAw56t3Sl99LSBpTYQjHWnc8V5ogw8owwum46KeaSkyGuE87lgocUx1k05vH6NgqPRQlypYwaKr+nshwrPUoDm1njM1Az3sT8T+vk5roKsiYkKmhgswWRSlHJkGTAFCPKUoMH1mCiWL2VkQGWGFibExFG4I3//IiaVYr3kWlenderl3ncRTgEI7gBDy4hBrcQh0aQEDCM7zCm5M6L8678zFrXXLymQP4A+fzB8wSkYg=</latexit> Source Node (Query )  a,1 <latexit sha1_base64="juvSuZtdgGclub3G0D8Xomk39a0=">AAAB83icbVBNS8NAEJ34WetX1aOXYBE8SEmKqMeiF48V7Ac0tUy2m3bpZrPsboQS+je8eFDEq3/Gm//GbZuDtj4YeLw3w8y8UHKmjed9Oyura+sbm4Wt4vbO7t5+6eCwqZNUEdogCU9UO0RNORO0YZjhtC0VxTjktBWObqd+64kqzRLxYMaSdmMcCBYxgsZKQTBCKfExw3N/0iuVvYo3g7tM/JyUIUe9V/oK+glJYyoM4ah1x/ek6WaoDCOcTopBqqlEMsIB7VgqMKa6m81unrinVum7UaJsCePO1N8TGcZaj+PQdsZohnrRm4r/eZ3URNfdjAmZGirIfFGUctck7jQAt88UJYaPLUGimL3VJUNUSIyNqWhD8BdfXibNasW/rFTvL8q1mzyOAhzDCZyBD1dQgzuoQwMISHiGV3hzUufFeXc+5q0rTj5zBH/gfP4AsJiRdg==</latexit>  a,3 Target Node (Ad) Edge Space Projection  a,2 <latexit sha1_base64="W5IFJHL595Xg9ktvDtXV5l7A+3Y=">AAAB83icbVBNSwMxEM3Wr1q/qh69BIvgQcpuFfVY9OKxgv2A7lpm02wbms2GJCuUpX/DiwdFvPpnvPlvTNs9aOuDgcd7M8zMCyVn2rjut1NYWV1b3yhulra2d3b3yvsHLZ2kitAmSXiiOiFoypmgTcMMpx2pKMQhp+1wdDv1209UaZaIBzOWNIhhIFjECBgr+f4IpITHDM7OJ71yxa26M+Bl4uWkgnI0euUvv5+QNKbCEA5adz1XmiADZRjhdFLyU00lkBEMaNdSATHVQTa7eYJPrNLHUaJsCYNn6u+JDGKtx3FoO2MwQ73oTcX/vG5qousgY0KmhgoyXxSlHJsETwPAfaYoMXxsCRDF7K2YDEEBMTamkg3BW3x5mbRqVe+yWru/qNRv8jiK6Agdo1PkoStUR3eogZqIIIme0St6c1LnxXl3PuatBSefOUR/4Hz+ALOikXg=</latexit> <latexit sha1_base64="zHdmtB8TfiiXyfhUBLoqxOhLT44=">AAAB83icbVBNS8NAEJ34WetX1aOXxSJ4kJIUUY9FLx4r2A9oYplst+3STbLsboQS+je8eFDEq3/Gm//GbZuDtj4YeLw3w8y8UAqujet+Oyura+sbm4Wt4vbO7t5+6eCwqZNUUdagiUhUO0TNBI9Zw3AjWFsqhlEoWCsc3U791hNTmifxgxlLFkQ4iHmfUzRW8v0RSomPGZ5XJ91S2a24M5Bl4uWkDDnq3dKX30toGrHYUIFadzxXmiBDZTgVbFL0U80k0hEOWMfSGCOmg2x284ScWqVH+omyFRsyU39PZBhpPY5C2xmhGepFbyr+53VS078OMh7L1LCYzhf1U0FMQqYBkB5XjBoxtgSp4vZWQoeokBobU9GG4C2+vEya1Yp3WaneX5RrN3kcBTiGEzgDD66gBndQhwZQkPAMr/DmpM6L8+58zFtXnHzmCP7A+fwBsh2Rdw==</latexit> .372 .154 .474 + .833 .032 .135 Subspace-distance Combination Mixed-curvature Distance

27. 离线索引构建及在线个性化召回 比欧氏距离/Cosine更复杂的度量 对ANN进行了分布式、指令/数据级并行等优化 双层信号扩展的在线个性化召回架构 第一层：q2q/q2i/i2q/i2i，第二层q2a/i2a Query MNN worker 1 (Query/Item/Ad) In-memory Index Data level Parallel (OpenMP) Real Click Item 1 Real Click Item 2 Signal Nodes Instruction Level Parallel (SIMD) Query … Query Item Item Item MNN Worker N Rewriting Key Nodes Ad Retrieval Distributed Retrieval Ad Nodes … HDFS (Query/Item) Ad List Ad List Ad List Ad List Ad List

28. Query节点表征可视化 模型空间自动从欧氏空间调整为双曲🆇球面，多角度建模图结构。 子空间1-双曲空间，不同层级query范数显著不同 子空间2-球面空间，语义近似query同环分布

29. 离线和在线结果 欧氏空间 单一曲率空间 模型结构不变！ 混合曲率空间 离线AUC + 1%，Q2A Hitrate@300相对提升15%，与欧氏结果diff率50%。 全量上线后，总体rpm收益+1.1%，单通道+4.2%。

30. 参数分析 自适应空间优于人工枚举空间组合 总Embedding维度不变情况下， 2个子空间组合达到最优结果

31. Part.04 CurvLearn曲率学习框架 https://github.com/alibaba/Curvature-Learning-Framework https://mp.weixin.qq.com/s/uP_wU5nnd7faBoo5B_7Xfw 阿 里 妈 妈 让 每 一 份 经 营 都 算 数

32. 非欧计算 定义流形 涉及流形、算子、模型、优化四个方面 导出算子 非欧模型 黎曼优化

33. 首个在实际场景成功落地的曲率学习框架 基于Tensorflow，CurvLearn实现了丰富的流形及算子，包括 • 欧氏空间 • 双曲空间 • 球面空间 • 自适应空间 • 混合空间 以及对应空间下的算子操作，通过等效化简，对部分算子做了 提速及高精度优化。

34. 首个在实际场景成功落地的曲率欧深度学习框架 CurvLearn与模型正交，因此向下兼容，易于使用。用户不必关心底层算子，只需要指定流形及对齐 op名称。 指定流形，欧氏流形就是原始模型 重载op，tf替换为manifold 黎曼优化器梯度下降（可选） 实现了多个开源算法以及淘宝类目树预训练算法。

35. 首个在实际场景成功落地的曲率欧深度学习框架 CurvLearn孕育于大规模搜索广告应用，经过了 工业场景验证。 针对超大规模数据下训练及serving可能出现的 问题，CurvLearn给出了有效的经验技巧以及方 案，包括并行稳定数值，非欧ANN等。 https://github.com/alibaba/Curvature-Learning-Framework 欢迎star，试用和共建！

36. 总结与展望 • 曲率空间是欧氏空间的拓展（可类比于牛顿经典力学到爱因斯坦广义相对论的拓展），天然适合建模复杂网络，在 实际工业场景下有很大的应用潜力。 • 曲率空间是一个普适的方法，和模型结构正交，比较依赖数据本身分布。 • 曲率空间是一个业界逐步热门的方向，除了我们的研究应用外，包括Amazon、Meta、Google、Microsoft、字节 跳动等都在进行探索与合作。

37. 感谢 详细内容参考 https://github.com/alibaba/Curvature-Learning-Framework 及阿里妈妈技术公众号 https://mp.weixin.qq.com/s/uP_wU5nnd7faBoo5B_7Xfw 更多前沿技术分享，欢迎关注阿里妈妈技术公众号