[发明专利]基于分割和图卷积神经网络的表格跨模态信息提取方法

说明书

一种基于图像分割和图卷积神经网络的表格图像跨模态信息提取方法，通过收集整理金融场景中经常使用的无边框表格作为训练数据集，提出了新的表格识别的方法，开发了相应模型，提高了对表格特别是对无边框表格的识别准确率。本发明只需要对表头和属性区域进行图结构构建，降低问题的复杂度，提高了模型预测的准确率，也减少了计算的开销。节点信息中嵌入了文本信息、节点坐标信息、节点图像信息，同时使用了整个表格的图像信息，提高了模型在无边框情况下的对表格结构的识别准确率。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于分割和图卷积神经网络的表格图像跨模态信息提取方法。

背景技术

表格识别在很多领域都是一个很常见的工作，目前存在许多对表格进行识别的方法包括：使用基于预定义布局的方法，使用基于规则的方法以及利用通过离线训练获得模型的统计方法后将估计的参数用于实际表提取，但这些现有技术缺点包括：不能包涵所有的表格类型，而且需要人为指定表格类型；在金融业等许多领域，表格往往是以非结构化的数字文件公开的，如PDF和图片格式，这些文件难以直接进行人工提取和处理。因此现阶段急需能够自动提取表格信息的方法。

发明内容

本发明针对现有技术在面对无边框表格的使用情景时性能表现会进一步下降的不足，提出一种基于分割和图卷积神经网络模型的表格图像跨模态信息提取方法，收集整理金融场景中经常使用的无边框表格作为训练数据集，提出了新的利用多模态信息进行表格识别的方法，开发了相应模型，提高了对表格特别是对无边框表格的识别准确率。

本发明是通过以下技术方案实现的：

本发明涉及一种基于分割和图卷积神经网络模型的表格图像跨模态信息提取方法，包括以下步骤：

步骤一、使用深度学习目标检测方法，获得表格中各个节点的定位角点坐标，并使用得到的角点坐标以及OCR接口获得表格各个节点中的文字信息；

所述的深度学习目标检测方法是指：通过Faster-RCNN模型得到每个表格节点的文本块位置(ROI)，然后使用OCR对相应位置进行解析，得到对应文本块的文字。

步骤二、使用图像分割模型，根据表格图像的特征，对表格的表头区域(header)、属性区域(attribute)、数据区域(data)和左上角区域(corner)进行功能区域划分；

所述的图像分割模型采用卷积神经网络模型(CNN)回归得到表格四个部分的水平和垂直分割线交点，该CNN模型包括三层卷积-池化层，其中：卷积层的卷积核大小均为3x3，激活函数均采用Relu函数；池化层都采用max_pooling，隐藏层通道大小都为64，最后回归得到交点的x和y坐标占图像高度和高度的比例。

步骤三、对表头和属性区域的节点，利用各个节点的文本、坐标、图像等多模态信息特征，通过图卷积深度模型(GCN)推测节点间的边关系，提取出表格节点间的拓扑关系；

所述的拓扑关系是指：表格各单元格节点之间的连接关系，即各节点之间是同行、同列或不同行不同列的关系。利用图卷积深度模型(GCN)预测节点间的边关系，使表格节点的拓扑结构从全连接状态变为能确定表格结构的拓扑关系。

所述的图卷积深度模型(GCN)根据输入的文本位置、文本内容、节点局部图像、整表全局图像的多模态信息特征，经过图节点的卷积计算，预测出用于重建出表的结构的各节点间的边关系(同行、同列、不同行不同列)。

步骤四、通过拓扑关系还原出表头以及属性区域的图模型结构；分别根据表头和属性区域图结构最下一层的节点数目获得数据区的行数和列数，并使用数据区节点对表格数据区域的进行填充；

步骤五、根据表头与属性区域的节点图结构以及表格区域的重建结果，对整个表格的结构进行重建。