[发明专利]一种端到端的表格检测和结构识别方法及系统

权利要求书

1.一种端到端的表格检测和结构识别方法，输入的原始图像中包含有表格，其特征在于，所述方法包括以下步骤：

步骤1：图像预处理步骤，对原始图像进行垂直方向拉伸，并进行长宽比不变的尺寸归一化以及边界补0，形成预处理图像；

步骤2：表格区域预测步骤，以编码器-解码器模型为主体结构，确定所述预处理图像中的表格区域，并分类为有线表格图像和无线表格图像；

步骤3：表格图像校正步骤，基于所确定的表格区域，从预处理图像中分离出校正后的、仅包含表格区域的表格区域图像；

步骤4：表格结构识别步骤，针对所述表格区域图像，根据分类为有线表格图像和无线表格图像分别采用不同方式进行表格结构识别。

2.根据权利要求1所述的方法，其特征在于，所述步骤2中，所述编码器-解码器模型的编码部分利用卷积的方式从第一高分辨表征中下采样出低分辨率表征；解码部分利用转置卷积或插值的方式从低分辨率表征上采样出第二高分辨率表征。

3.根据权利要求2所述的方法，其特征在于，所述编码部分操作如下：

采用高分辨率网络中多分辨率子网络并行连接的机制生成多分辨率表征，并引入多分辨率融合模块实现多分辨率表征之间的特征信息交换与融合，最终输出多种尺度的第一特征图。

4.根据权利要求3所述的方法，其特征在于，所述解码部分操作如下：

首先采用空洞空间卷积池化金字塔模块对所述第一特征图中最小尺寸的特征图以不同采样间隔的空洞卷积并行采样，后续通过转置卷积的方式分别将其他第一特征图的空间维度扩大两倍，形成与第一特征图数量相同的多个第二特征图；

将所述第二特征图与来自编码部分同样尺寸的第一特征图拼接在一起，最后，卷积生成与预处理图像大小尺寸相同的两张掩膜预测图像；

由此确定表格区域，并区分为有线表格图像和无线表格图像。

5.根据权利要求1所述的方法，其特征在于，所述步骤3具体包括：

步骤31：根据掩膜预测图像利用坎尼边缘检测算子计算出表格四周的轮廓；

步骤32：利用霍夫变换算子检测出轮廓中的所有直线并将部分满足合并条件的直线合并在一起；

步骤33：根据所有直线的位置计算出准确的表格位置，由此分离出校正后的、仅包含表格区域的表格区域图像。

6.根据权利要求1所述的方法，其特征在于，所述步骤4中，针对属于有线表格图像的所述表格区域图像，具体包括：

根据分割线的掩膜预测图像，利用坎尼边缘检测算子计算显式分隔线的轮廓图；

利用边界腐蚀方法提取出分隔线的轮廓骨架图；

利用霍夫变换方法从轮廓骨架图中计算出所有直线并将部分满足合并条件的直线融合在一起；

通过计算出所有横线和竖线相交点的位置，得到表格单元格的位置；

提取表格内文本实例的内容和位置；

根据表格单元格和文本实例的相对位置计算出表格结构信息并输出。

7.根据权利要求1所述的方法，其特征在于，所述步骤4中，针对属于无线表格图像的所述表格区域图像，具体包括：

以每个文本实例为节点，提取节点特征，所述节点特征由每个文本实例的位置特征、边界框背景特征、行背景特征和列背景特征共同拼接形成；

针对某一节点a，选取其当前所在特征空间内所有节点并计算相似性，选取周边多个最近邻节点；

将节点a的节点特征A及其与所述多个最近邻节点的节点特征的相似度差值分别拼接在一起，输入经训练的图卷积神经网络，输出更新后的节点特征A’；

重复以上操作，得到所述表格区域图像内所有节点的更新后的节点特征；

通过三个多层感知机网络分别利用更新后的节点特征确定节点与多个最近邻节点的行、列和单元格的结构关系，由此确定表格结构信息并输出。

8.根据权利要求7所述的方法，其特征在于，所述文本实例的位置特征由边界框的左上角和右下角的坐标组成。