通用知识图谱构建与应用

1.

2. l l 2

3. J 3

4. 1 2 3 4 5 4

5. l l 2012 Google / 统计知识图谱逻辑 • • • 5

6. 应用智能音箱数据资源图文标签实体卡片实体问答其他应用通用知识图谱腾讯音乐腾讯视频阅文小说 …… 搜狗百科 • • 6

7. 应用层实体卡片精准问答内容理解腾讯叮当服务层实体检索算子服务实体链接知识表示存储层图引擎索引库正排库图数据库 …… …… 运营平台 schema管理清洗管理融合管理计算层数据层属性抽取实体分类清洗对齐实体对齐概念抽取关系挖掘新热发现推理计算数据接入内部FT数据 CP合作数据数据爬取百科站点垂类站点规则管理人工干预数据评估数据看板 7

8. 1 2 3 4 5 8

9. vs vs vs vs ü ü ü TOP1 ü 9

10. 爬取接入获取数据异构数据刘德华百科：1961年9月27 日出生香港刘德华百科：1961年9月27 日出生香港时光网： 1961-9-27 中国香港时光网： 1961-9-27 中国香港实体对齐消岐数据刘德华 (明星) 刘德华 (老师) 百科: 刘德华属性择优 Schema 对齐同构数据出生日期: 1961年9月27日出生地: 香港来源: 百科出生日期: 1961-9-27 出生地: 中国香港来源: 时光网出生日期: 1961年9月27日出生地: 香港来源: 时光网关系建设百科: 刘德华 (清华大学教授) 出生地刘德华香港实体数据 (点+ 边) 1961年9月27日出生日期规整数据出生日期: 1961年9月27日出生地: 香港来源: 百科实体属性 (点) 时光网: 刘德华数据清洗朱丽倩妻子 1961年9月27日出生日期刘德华出生地作品《冰雨》香港朱丽倩妻子作品《冰雨》 10

11. 接入解析分类对齐数据清洗实体对齐属性融合关系建设校验出库处理框架中间存储数据检索高性能高吞吐高性能流批一体成本低易扩展容错性好格式化全文索引 …… 11

12. 12

13. • • • • • • 13

14. • • • • • • • • 00003006f246f219fe7… 00003 00 http://baike.baidu.com/item... 151893513 甄嬛传 Array[ jsonObj] 14

15. 15

16. 应用场景关系抽取实体抽取属性抽取页面解析抽取模块基于模版 Bootstrapping 预/后处理先验知识库 IP抽取 …… 基于模型基于规则规则匹配概念抽取传统机器学习规则库领域词表模版库黑白名单知识图谱深度神经网络经典模型 PCNN BiLSTM 预训练模型 BERT 摩天人工标注数据集构建远程标注数据集管理 16

17. 17

18. V3 KeywordBERT-entityType-RC - SO 18

19. 刘向蕙中国 1961.9.27 生日多源知识融合香港朱丽倩妻子国籍基本信息男好友亲友关系性别出生地刘德华表演相关《冰雨》《追龙》 ü ü 演唱歌曲《谢谢你的爱》表演作品 Ø Ø 古天乐《爱你一万年》导演作品饰演角色郭富城搭档《Love Under the Sun》阿虎金城武女儿《长城》《解救吾先生》 19

20. • • • • • • • • ü ü ü 20

21. Schema库分类到各领域映射到领域属性去杂质、归一化实体分类 Schema 对齐数据清洗分类规则映射规则清洗规则 KVJson数据 • Schema • • + • • • • • Key • 同构规范资源数据 Value 21

22. 通用实体消歧对齐技术实体关联实体归一实体拆分实体对齐注：重复率与实体比较的召回率线性相关，业务上更关注重复率指标 22

23. KG 实体关联实体归一知识初始化实体归一新实体天级实体集月级实体关联重复控制知识图谱实体拆分实体拆分实体关联实体纠错增量构建全量构建候选拉取特征提取等价判断 NIL判断实体分桶特征提取等价判断组聚合实体归一实体拆分月级

24. eg. 百科&豆瓣-刘德华 eg. 只有简介和演唱者的《冰雨》 eg. 经商的退役篮球运动员大小写转换去停用词标准化字典关键词提取字符串精确比较电话号码比较生日比较字符串编辑距离集合比较地址比较文本语义比较定制规则比较日期比较 BAYES 模型 XGBoost 模型 24

25. • • • 实体名(实体id）类别李白(401011277) 历史;人物;历史人物;诗人李白(214800216) 泛娱乐;音乐;歌曲李荣浩演唱歌曲 • 李白(240611076) 历史;历史人物;军事;军事人物中共党员，上海地下党联络员 • 李白(526784655) 泛娱乐;视频;视频专辑;电视剧中国2010年邵警辉执导电视剧李白(205096397) 泛娱乐;游戏;游戏人物;虚拟角色;IP 手游《王者荣耀》中的英雄角色李白 (222786607) 泛娱乐;娱乐人物撒贝宁妻子、吉尼斯世界纪录大中华区裁判李白(236971880) 泛娱乐;视频;表演;视频专辑;电影北京人艺经典话剧 …… …… …… 摘要唐代著名浪漫主义诗人 • • • • 25

26. • • • • • • • • 26

27. KG XGBoost/GBRank MatchFeature TypeFeature SPOBertFeature KGEmbeddingFeature SP SPO共现 S-data共现 SPO-Bert O-data共现特征交叉 Subject S Property Object P O Object-data Subject-data Entity P R F1 常规特征 0.926 0.654 0.76 +type 0.950 0.681 0.79 +SPO-Bert 0.951 0.702 0.81 +KG-Emb 0.948 0.726 0.82 +统计特征 0.952 0.732 0.83 27

28. 1 2 3 4 5 28

29. ü ü ü ü • • • 上层封装节点状态读、写分离隔离I/O Docker封装 Neo4j 热点缓存多级缓存命中率98%+，耗时降低30倍 29

30. • Ø ü • Ø ü • Ø ü • Ø ü 30

32. 1 2 3 4 5 32

33. 智能音箱智能助手内容分发资源聚合实体卡片问答产品应用图谱问答、检索问答 KBQA 推理计算实体链接技术应用实体检索内容理解篇章理解概念化、先验特征推荐场景召回排序知识图谱知识结构化知识关联内容组织影视、花草、人物、IP 知识纠错实体链接知识融合知识体系 query理解意图识别、槽位解析框词生成语义搜索 33

34. 34

35. l l 业务：腾讯博物官、业务：QQ浏览器搜 QQ浏览器识花君索、QQ看点搜索效果：提升AR扫描效果：上线人物、影类产品的用户体验，视、自然等领域支持文博( 名画/建 TOP1实体卡，相关筑/文物)和植物扫描实体领域TOP1满足识别功能，日覆盖率提升5%+ 近300W相关QV l 35

36. Mention识别 NEL 嵌套解析计算推理打分模板识别算子链生成清洗模型识别算子执行排序 verify 验证正误 inter 取交集 union 知识图谱取并集 indexSort 排序取值 compare e.g. 田亮女儿多大了 [w:*] [r:age] 多大了 [d:entity-person] [r:daughter] 田亮女儿 *自上而下，解析Query calAge 根据当前时间计算年龄 getEntity "田亮" 请求图引擎女儿 *自下而上，执行算子比较 count 计数 calTime 时间换算 e.g. 张国立离婚了吗 e.g. 张学友梁朝伟合作作品 e.g. 乔丹科比多高 e.g. 特朗普二女儿叫什么 e.g. 广州和深圳GDP对比 e.g. 广东有几个地级市 e.g. 去年是什么生肖 …… 36

37. 37

38. 业务：微信搜一搜、QQ 浏览器搜索使用小说领域的图谱数据，包括小说、角色、候选词生成特征计算候选词过滤自由度计算阈值过滤候选实体 N-Gram 凝固度计算词表过滤作者等相关的属性和关系数据。效果：意图基础数据技术从准召91.3%/57.8%提升到94.7%/69.3%，累计支持16个品类阿拉丁意图识别，影响面8% 38

39. • • 腾讯视频资源分发 • Type Match Relation Priors 实体消歧，信息流分发 Ranking LR Score 39

40. l Ø ü 40

41. 1 实体名：熊出没·狂野大陆描述文本：《熊出没·狂野大陆》是《熊出没》的第7部动画电影。 2 熊出没季部号第7部副标题狂野大陆 IP 蜘蛛侠 3 主干名蜘蛛侠2 蜘蛛侠3 超凡蜘蛛侠蜘蛛侠：英雄归来超凡蜘蛛侠2 蜘蛛侠：英雄远征 IP 蜘蛛侠所属IP 蜘蛛侠：平行宇宙蜘蛛侠 41

42. 1 语料：搜索query/日志、资源title 方法：统计（分词、共现）模型（生成、抽取） 2 语料：标注的正负样本特征：语义、QV、关联资源等方法： XGBoost BERT 迪丽热巴恋情 3 方法：借助实体的EL技术李雪秦吐槽大会你是我的荣耀结局鹿晗关晓彤智勇大冲关廖慧敏崩坏3电子护盾 42

43. 1 2 3 4 5 43

44. l 公有数据私有数据合作数据腾讯资源爬取平台清洗对齐接入平台建边推理图谱库知识融合知识抽取图引擎图谱能力 l ü ü l 44

45. • • • • • • • 45

46. 查询服务 n 服务 • • 多地部署，平滑扩容后端失效：数据缓存+异步成功更新 n 存储 • • 离线：hive存储，分区备份在线：多地部署，按日备份 1 2 缓存 3 图引擎 4 图谱在线服务/存储部署深圳天津上海 … … … n 数据 • • 数据抖动校验+熔断机制数据漏斗+核心数据监控 n 流程 • • 透明化监控模块化拆解+流程重试 46

47. Ø Ø Ø Ø 47

48. l • • • • l • • NLP l • • • 48

49. 49

50.