OCR：图文结构理解探索和实践

1.

2. 01 Contents 目录 02 03

3. 01

4.

5. 可复制 OCR 官员养廉可查询个人信息表姓名：身份证号码：生日：银行卡卡号：地址：可录入

6. 02

7. 表格文字信息印章

8. 户口登记机关 KV输出户：0.52 口：0.87 专：0.90 用：0.92 户主姓名：王永* 户号：509023** 住址：杭州市西湖区** … 元素（表格、图案、文字…）检测检测识别结构理解

9. 旧凝结卞1l/旦日一l 招聘搬砖工： 1 产品经理： 1 领导： 2 公司介绍：下海登山亲轻而易举，上天入地无所不能。精准检测少量像素误差可能导致错误识别尺度变化大长边跨度1-2000，端边跨度5-200 各种干扰遮挡、倾斜、弯曲、粘连、背景等

10. 精准检测真实场景中的文字检测案例

11. 常用印刷字体有几百种古籍、手写字体多，上亿常用汉字 3700 个，覆盖 99% 书面资料 9100 记录汉字个，常用姓名、地名 21000 个 0 8000 个生僻字 0 背景、噪声、扭曲、光照等风格变化字体&风格相似字&生僻字是汉字特有的学术难题

12. 一部书即一种字体 10w以上字类，且类间差异小破损、印记、签注。。。真实场景中的文字识别案例

13. 身份证姓名：潘* 住址：浙江省** 身份证号码：510* 5101321986*** 生日：* 性别: * 输出的数字串是什么？用户有设定的问题： • 姓名是？ • … 识别并不是最终用户需求民族：* 结合空间和语义关系的结构理解解答用户问题

14. 卡证/表单的样式非常多，有常规通用性和自定义的单个卡证也存在打印错位、噪声干扰、拍摄扭曲等问题

15. 输入图 2 3 5 3 文本：内容、位置表格：位置、还原印章：位置、类型二维码：位置、信息文字识别 node: 广义字段：通用图实体狭义字段：文本embedding 5 元素输出文字等元素检测 1 5 4 输出 edge: node的空间距离 KV输出户主姓名：王永* 户号：509023*** 住址：杭州市** 签发日期：2016年** GCN-图匹配网络 GEMR-图实体聚合识别模型结构理解（结合空间&语义关系）

16. 03

17. 识别产品版面分析内容/顺序/… OCR 图转文字文档产品结构理解 kv/表格/… 卡证kv产品智能模板 kv结构自学平台模板产品 duguang.aliyun.com

18. STEP1 用户在APP中申请信贷，并通过手机拍照上传材料照片资料输入 STEP2 审批人员根据拍照材料进行识别并初审在线初审 STEP3 申请人将原材料提交至柜台，工作人员对材料进行扫描现场录入审批通过人工初审申请材料手机拍照拒绝，补充材料高拍仪采集录入 STEP4 放贷过程比对照片材料与扫描材料异同判断是否如期放款人工审核用户痛点：每份审批材料包含200多张图片，需要进行乱序比对，人工核对量大，误操作高

19. 图片输入高拍仪采集录入客户端政务应用系统（查看、检索、对比…）电子文档一体机服务器各式纸质or图片文档读光OCR文档服务引擎

20. 文件系统批量文件文件图片搜索印章标题文字 … 表格元素提取&校对人工确认标题一致？段落一致？段落印章一致？印章：忽略文字：忽略 … 文档中文本、表格、标题等元素和结构提取实现文档内容还原文件搜索、元素提取&校对、人机交互实现文档集间交叉对比

21. 类型：火车票出发站：株洲西站定额发票火车票到达站：广州南站出租车票车次：G1127 开车时间：2018年11月15日17：01开机票行程单增值税发票座位号：06车13C号票价：294.0 类型：增值税发票 …… 金额：294.0 机动车发票读光OCR票据服务引擎纳税人识别号：13894927246239 各式报销材料发票号码：3210494 …… 2. 调用OCR并读取识别结果 1.输入数据录入财务RPA系统 3. 自动录入报销系统报销/报帐系统 4. 自动进行发票验真与报税验真、报税系统

22. 类型：增值税发票金额：294.0 发票代码：4300181130 1.票据框检测发票号码：02857254 售票方税号：13894927246239 售票方名称：深圳市中兴新云服务有限公司发票详情：『服务名称: *住宿服务*；金额: 318.45; …』类型：火车票 …… 出发站：株洲西站增值税发票火车票出租票发票 … 到达站：广州南站车次：G1127 身份证行驶 … 开车时间：2018年11月15日17：01开火车票座位号：06车13C号票价：294.0 营业执照许可证 … … 2. 自动卡证分类器 …… … 3. 智能模板

23. 个人资质个人征信核验企业资质工商信息查询分类管理器可以实现数据归档同时是数据结构化的基础银行单据银行流水对账人工分类办理贷款、算蚂蚁积分、司法诉讼等都会提供大量卡证表单信息卡证分类是一个基础需求

24. 用户输入: 100-200张标注样本自学习：自动数据增强和模型训练上线：自动评测发布，实现批量调用身份证姓名：潘* 住址：浙江省** >>> 火车票出发站：上海南站票价：66.88 … 端到端的低成本标注方案结合空间和语义的结构理解 >>> 通用kv模板：提取各式卡证结构

25. 读光广泛应用于集团各种业务场景在云上我们服务了政府、金融、海关等各行业的用户

26. duguang.aliyun.com

27.

28.

29.