数字化转型时代的金融知识图谱建设方法论和实践分析
如果无法正常显示,请先停止浏览器的去广告插件。
1. 数字化转型时代的金融知识图谱
建设方法论和实践分析
Wang Shi,FSI ISA
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
1
2. 数字化转型在金融科技层面,究竟会发生什么样的变化,这是金融科技部
门开展数字化转型的第零步。
信息化转型
使用模式 专线支持的网点、ATM、POS机等客户场景
人员思维
项目经理思维,架构师思维
产品形态
以金融机构为视角的专业化产品
开发模式
基于完整需求进行瀑布式开发
合作模式
业务部门定义产品,科技部门实现产品
团队组织
技术平台
数据架构
应用架构
开发运维管理工具
自动化程度
数字化转型
互联网生态及自有App的用户场景
产品思维、数据思维
以客户体验为核心的生态化产品
基于体验点进行敏捷开发
业务部门和科技部门共同定义产品
由项目经理、架构师、领域开发人员组成
的开发中心、测试中心和数据中心 包含项目经理、产品经理、全栈开发组
成的两个比萨团队
自建,私有云 自建+租用,私有云+公有云
大数据 数据湖
MVC/三层 现代化应用
开发工具、运维工具
实现“人管机器”的技术自动化
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
DevOps、AIOps
业务自动化
2
3. 这些激动人心的变化,如何选择合适的切入点呢?知识图谱以简单直观的方式,成为重要
的切入点。
来源:Amazon Web Service APN合作伙伴 数库科技产品功能界面
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
3
4. 知识图谱在如下场景带来重要的价值,成为金融行业建设的新热点。
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
4
5. 那么,如何建设一个知识图谱呢?AWS金融行业的知识图谱Big Lab动手实验计划,赋能金融机
构自行搭建知识图谱,实现定制化需求。
金融机构数字化转型
文化 思维 架构 管理 技能
提倡Go_Build
文化 赋能产品
经理思维 实践混合云
联邦架构 优化“自研”
模式 强化
AI能力
AWS 知识图谱 AI Lab
•
•
•
5天的动手实验室,实现从数据采集到智能问答
赋能客户自己实现完整过程
Lab涉及产品包括:
引领
AWS实现定制化需求
Partner实现通用需求
Sagemaker平台
试点互联网
创新应用
积累数据基石
验证
Neptune图数据库
积累模型
S3存储
拉动
APN Partner
合作伙伴知识图谱产品
DevOps
Datalake
知识图谱
AI工程
AWS其它方案
AWS FSI解决方案
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
5
6. 金融机构的员工将在AWS和合作伙伴的资深架构师引导下,通过5天时间,在AWS办公
环境内,结合自顶向下和自底向上的方法,完成从数据准备到知识展现的端到端开发。
主要工作项
P1. 数据准备
P2. 数据转换及知识抽取
P3. 知识融合
download_pdf_and_
extract_to_plain.ipynb
P4. 知识处理
P5. 知识展现
CloudFormation
data_cleaning_and_
owl_file_generation.ipynb
专家经验
structured_data
_cleaning_and_owl
_file_generation.ipynb
Sagemaker
Notebook
Data
OWL
Metaphactory
upload_data_
to_neptune.ipynb
OWL
CLI
S3
Neptune
smart_query_o
n_the_domain_
question.ipynb
Code
CodeCommit
S3
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
CodeCommit
1. AWS基础环境配置
2. 互联网数据拉取
3. 互联网PDF非结构化数据OCR
结构化处理
4. 基于专家经验的互联网结构化数
据清洗
5. 互联网OCR结构化数据Tika AI
Model开发
6. 基于专家经验及模型的Jiagu 三
元组生成
7. 客户提供的结构化数据OWL转
换
8. CSV/OWL加载
9. 图可视化工具部署及展现
10. 图搜索语意理解
11. SPARQL/Gremlin编程
12. 智能搜索开发
7. 比如,在知识融合环节,知识图谱将根据数据来源的不同,针对行内结构化数据采取E-R
关系方式提升数据转换效率;针对互联网数据,采取属性图模型方式提高数据可解读性。
E-R关系
RDF三元组图模型
(实体关系图)
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
属性图模型
(实体关系图)
事件图模型
(增加时空,溯源维度)
8. 为此,金融机构需要准备人员、数据和AWS海外账号。
• 人员技能要求:
至少3* Python开发工程师,都了解Numpy等数据处理模块和Tensorflow AI框架的基本
设计和操作,了解AWS平台的简单使用。其中
有1名侧重金融行业专家经验,了解金融市场相关知识;
1名侧重SparQL,了解图数据库操作;
1名了解爬虫操作;
• 数据:
提供1-10G结构化金融市场相关数据(CSV格式)
• 技术环境:
已开通或者拟开通AWS海外区账号
提升Sagemaker Notebook 并发和总数为4的软限制
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
9. 2019年9月份,7家银行共派出36人,在北京参加5天的Big Lab,获得丰富的成果。
业务场景
识图
四大行之一
行
某大型全国性商 行
业银
金融机构名称
业银
行
业银
某区域性城商行
某区域性城商行
某区域性城商行
业务场
租房价格
某大型全国性商
某大型全国性商
某银行Big Lab交付成果
知
联
具体 进
预测
链
营销
景 风险传
风
诈 户 验优
挖掘公司数据中的关 信息, 行 式
和
播建模
对 贷
联
基于 控的反欺 用 体
化
较
识图谱 传统
库
户
为
别
公 款关 关系分析
销 银
户
产
户
进
识图谱
户
为
比 基于知
和
关系型数据
户
产
间 在用 高危行 分析建模的区
根据直 用 团 行客 信息、
交易信息 行知 业
建模,分析客
交易行
,探索客
业 户 品信息及客
间
风险
对
户贷
与 品之 的关系
防范集
母子企 客
之
相互担保
某银行Big Lab交付成果
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
,降低担保企
信用下降
被担保客
款的影响
某银行Big Lab交付成果
某银行Big Lab交付成果
10. 而更早之前,国内某银行已完成知识图谱Lab工作。这家银行前期在AW S帮助,获得监管
部门的高度认可。
在我行XXXX课题获得2018年银保监会一类成果奖后。 下一步, 我行将以自研“ 知识引擎” 的方式, 加大金融
知识相关的大数据平台的建设和推广以获得更大效益; 同时, 为我行加强架构师思维、 数字化思维并提升人员
动手能力提供更多机会。
内部业务员工
内部科技员工
外包员工( 研发等)
厅堂派遣员工
XXX客户
网点客户
XXX客户
网点智能机器人
XX呼叫中心
XX网银
移动办公APP
XX内网
风控主题
金融知识主题
XX内网
技术知识主题
业务知识主题
智能机器人后台
业务知识主题
金融知识主题
智能应答后台
客服主题
用户授权
内容控制组件
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
用户授权
知识引擎 内容控制组件
11. 这家银行在派30+人参加共计4天的Sagemaker/Neptune产品培训后,于2019年8月选派3
人到北京参加5天的AI Lab,获得丰富的成果。
工作成果:图检索
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
工作成果:智能问答
12. Lab后,这家银行将搭建联邦架构,以AWS互联网技术平台为辅、以自建数据中心为主的
建设模式,实现企业财务异常分析、企业涉诉风险预警、理财产品问答系统、银行监管
职能检测等四个场景,在节约成本的同时,提高敏捷开发能力。
XX银行自建
数据中心
第三方
软件
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
13. 通过联邦架构,这家银行将逐步完善如下知识体系:
青岛银行知识体系
外部知识
竞
争
对
手
知
识
包括竞争
对手的优
势、市场
份额、发
展前景
等。
合
作
者
知
识 科
技
成
果
库
记录银行持
股和被持股
企业以及供
应商的全面
知识。 1、与本行所
拥有的金融产
品相关的知识
和科技成果;
2、外部专家
知识。
内部知识
政
策
跟
踪
及时跟踪人民银
行、银保监会等监
管机构下发的规章
制度,以及影响本
行战略发展决策的
本地及全国宏观政
策和法律法规。
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
同
业
借
鉴
收录其他银
行成功的经
营策略和经
验。
知
识
产
权
员
工
知
识
银行员工所
拥有的显性
银行的产品创
新、技术创新、 知识和隐性
管理创新所产生 知识资本。
的专利、商标、
商业秘密、版
权、软件和设计
等知识产权。
客
户
知
识
记录银行客户
的全面信息资
料,包括各项
营收业务涉及
的客户资料。
银
行
家
记录本行高
管人员知识
构成特点、
专长领域以
及突出贡献
等资料。
企
业
文
化
制
度
流
程
全面、规范
记录银行的
包括银行
规章制度和
价值标准、经营
业务流程。
理念、哲学思
想、精神追求、
行为准则、道德
规范、文化传统
和企业形象等。
金
融
产
品
以目录形式
展示银行的
各种金融产
品,全面的
业务数据,
包括各类业
务明细和业
务指标。
14. 谢谢
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.