[发明专利]基于分割和图卷积神经网络的表格跨模态信息提取方法

权利要求书

1.一种基于图像分割和图卷积神经网络的表格图像跨模态信息提取系统，其特征在于，包括：图像分割单元、文字块检测单元、图卷积网络单元和后处理单元，其中：文字解析和检测模块由图像得到文字块坐标和对应的文字信息；图像分割单元根据表格图像划分表格；图卷积神经网络模块利用跨模态特征来预测表格的表头区域和属性区域的结构；后处理模块根据图神经网络预测的结果和数据区域文字块的坐标信息重建整张表格的结构；

所述的表格图像跨模态信息提取是指：

步骤一、使用深度学习目标检测方法，获得表格中各个节点的定位角点坐标，并使用得到的角点坐标以及OCR接口获得表格各个节点中的文字信息；

步骤二、使用图像分割模型，根据表格图像的特征，对表格的表头区域、属性区域、数据区域和左上角区域进行功能区域划分；

步骤三、对表头和属性区域的节点，利用各个节点的文本、坐标、图像多模态信息特征，通过图卷积深度模型推测节点间的边关系，提取出表格节点间的拓扑关系；

步骤四、通过拓扑关系还原出表头以及属性区域的图模型结构；分别根据表头和属性区域图结构最下一层的节点数目获得数据区的行数和列数，并使用数据区节点对表格数据区域的进行填充；

步骤五、根据表头与属性区域的节点图结构以及表格区域的重建结果，对整个表格的结构进行重建；

所述的图像分割模型采用卷积神经网络模型回归得到表格四个部分的水平和垂直分割线交点，该CNN模型包括三层卷积-池化层，其中：卷积层的卷积核大小均为3x3，激活函数均采用Relu函数；池化层都采用max_pooling，隐藏层通道大小都为64，最后回归得到交点的x和y坐标占图像高度和高度的比例；

所述的拓扑关系是指：表格各单元格节点之间的连接关系，即各节点之间是同行、同列或不同行不同列的关系，利用图卷积深度模型预测节点间的边关系，使表格节点的拓扑结构从全连接状态变为能确定表格结构的拓扑关系；

所述的图卷积深度模型根据输入的文本位置、文本内容、节点局部图像、整表全局图像的多模态信息特征，经过图节点的卷积计算，预测出用于重建出表的结构的各节点间的边关系。