文档内容结构化在百度文库的技术探索

原创海浪百度Geek说

2021年07月26日 10:00

导读：简述百度文库关于各类文档的转码和展现历程，早期的版式数据满足了PC端的各类文档阅读体验，随着业务发展的需求迭代，无线端的文档阅读体验亟需提升。版式数据转流式数据过程中，简易的内容结构化满足了pdf数据在无线端的重排版。底层解析ooxml数据和细致的内容结构化，则带来了不错的word无线端重排版效果。从chart图片中“从无到有”抽取结构化的元数据，更为用户与文档的互动打开了想象空间

全文3724字，预计阅读时间 9分钟。

一、百度文库中各类文档的展现

文库有数十亿海量文档，包括word，ppt，excel和pdf等十几种常见办公文档，核心基础服务是文档转码和展现。

为了统一十几种文档的转码和展现方案，不依赖于原文件格式的开档软件，技术调研后，最终方案为任意文档转码为pdf格式，解析开源的pdf数据格式，加工后形成文库自有文档格式，在pc端、无线端排版和渲染。

PC端渲染采用源于PDF的xreader版式数据，版式数据指的是每个元素（文字、图片）都有一个坐标信息和元素的宽高信息，以及其他的描述信息。每一个文本片段、图片和其他矢量元素等根据坐标信息在当前版面固定显示。因此，版式数据比较适合用于在PC端等比例展现各类文档，版式排版的还原效果较好。

无线端的屏幕尺寸普遍较小，如果将版式数据等比例缩小后排版，整个版面中的文字、公式较小，给阅读带来不便，如图1所示。虽然可以放大显示，但显然增加了用户的操作成本。

图1 无线端采用版式数据进行等比例缩小的版式排版

比较理想的方案是将版式数据转换成流式数据，根据不同的无线端屏幕尺寸，进行重排版。区别于版式数据中每个元素都有当前版面的坐标信息，流式数据没有坐标信息，有的是章节、栏、段落、公式和表格等结构化信息，大量的数据结构信息将最基础的文本、图片关联起来，形成结构化的文档内容，适合各种屏幕尺寸的自适应重排版。

二、文档内容结构化的技术探索

2.1 Retype流式数据（基于xreader版式数据）

文库早期文档内容“版式转流式”的方案，遍历xreader版式数据中的每个元素，提取坐标信息x，y和元素的宽高w，h信息。比较接近的y认为是同一行数据，y接近的情况下，根据x和w拼接相邻的文本元素、连接相邻的文本和图片。然后就得到当前版面的所有行数据结构line，根据每个line的y和h信息，将相邻line拼接为段落。通过判断当前line的x+w数据小于版面宽度、以特殊标点结尾，以及下一个line的x信息蕴含着段首缩进等情况，从而判定一个段落的结束。

以上是“版式转流式”方案的通用思路，当文档的版面结构较为复杂，比如论文、文献等存在大量多栏、图文绕排、表格脚注尾注的情况时，还需要进行range识别的预处理，将整个版面分析、切割成多个range结构，在每个range内再进行“版式转流式”的通用方案，才能得到较好的效果。

这种方案从版式数据中提取了“段落、行“等结构化信息，有助于流式排版。但一些case显示这些结构化信息的准确率达不到百分百正确，存在“段落被强制换行，inline图片位置错误”等情况，且对“公式、图表chart和表格”等复杂结构化信息的提取能力较弱。

不同于pdf文档中只有元素相对于版面的坐标信息且缺乏内容结构化信息，office文档如word文档，源文档中存在结构化信息，只是在word转pdf的转码过程中丢失了这些信息。因此，对文库占比较多的word文档提取结构化信息和提升无线端流式排版效果，成为阶段性的重要目标。

2.2 BDJson流式数据（基于ooxml数据）

微软office历史悠久，word存在许多版本，简化区分为doc二进制复合文档格式和docx的ooxml文档格式。Doc二进制复合文档格式较为复杂，且是微软的闭源项目，解析和转码的成本较高。为了简化方案，将doc转换成docx，然后核心方案就是解析docx格式，转码，产出BDJson格式流式数据。

OOXML是开源项目，基于zip+xml的格式，普通文本及其字符属性、段落属性的读取和解析较为方便，其自带章节、段落和表格等结构化信息，便于流式排版。基于本次排版需求，以及考虑到将来有word在线编辑的场景，方案设计为语义级别的精确解析文档，抽取内容和属性，组建office数据结构。

章节、段落等数据结构，遵循ooxml标准，从Document.xml中解析数据后即可组装成对应的数据结构。页眉页脚、脚注尾注等数据结构，Document.xml中存储的只是索引和基本信息，具体的区域内容需要从其他的xml文件中获取，按照索引的对应关系进行拼装，并插入到正文中的具体位置。

一些数据结构因office结构与html结构的差异性，需要做一些适配工作。例如常见的项目符号与编号，在word中可以有9层结构，每一层结构都有字符属性、段落属性、tab设置和图片编号等，需要兼容映射到html的ol、ul简易结构。表格中合并单元格的行跨、列跨和隐藏被合并单元格，在office和html中也是有很大差异，需要遍历整个表格，计算转换后进行兼容性转码。

此外，对一些在线编辑场景中涉及的数据结构，也做了提取和转码，例如将word中支持的多套公式数据“域公式、mathtype公式，omath公式”统一转码成LaTex数据格式，不仅便于后续编辑，而且可以适配正文的字体和大小，整体排版效果更统一。

以上技术方案的实施，完美提取了word文档中的结构化信息，优化了现有文档转码和展现的流程，如图2所示。文档内容结构化信息，使得word文档无线端可以实现自适应的流式排版，大为提升了展示效果，如图3所示。

图2 文档转码和展现（版式，流式）

图3 文档无线端流式排版和公式LaTex展现

2.3 chart图片（或pdf数据）中提取结构化数据

在论文、期刊和财经研报等特定类型的pdf文档中，经常会有一些图表chart信息，这些图表一般以“无结构的pdf数据、图片、背景图”的形式出现。提取这些图表信息，将元数据导入到excel中，让用户可以重新编辑、观测和生成新的chart，具有较大的产品价值。

现有的一些工具，一般都是让用户对文档中chart所在的区域range手动截图，然后人工选择坐标轴原点，输入坐标轴刻度等信息，对chart描边等一系列繁琐的操作，且数据提取的正确率不高。

Chart图片或无结构的pdf数据中提取结构化元数据的技术方案可以简化为两大模块：range识别，元数据提取。

2.3.1 Range识别

以pdf文档举例，首先遍历本页所有元素，将文本碎片span、图片等框选起来。原始span按y，x进行相邻merge，得到大一些的fragment, 进而聚合成line。line区域按文本数量和位置等信息，进行有效性判断，有些可消除。

搜索剩余空间内的空白区域，作为range的候选区域。获取页面设置信息，确定页面内容范围。从上往下遍历，先把整行空白的range识别出来。按行遍历，如果line两端尚有空余，加2个两端的range。用当前的line去碰撞已有的range，若相交，将相交部分消去，会把原有range切成多个新的range。至此，得到紫色的range候选区域集合，如图4所示。