[发明专利]一种联合卷积与图神经网络的表格结构识别方法

权利要求书

1.一种联合卷积与图神经网络的表格结构识别方法，其特征在于，所述方法包括：

构建联合卷积图神经网络，所述的联合卷积图神经网络包括深度二维卷积神经网络、二维卷积神经网络和图神经网络，所述的深度二维卷积神经网络输出的图像特征，作为所述的二维卷积神经网络和所述的图神经网络的输入；

利用不确定度加权的多任务学习损失函数训练所述的联合卷积图神经网络；

所述的深度二维卷积神经网络用于提取表格图像高维语义特征，使用二维卷积神经网络预测表格各单元格中心点坐标，基于中心点构建表格结构的图，利用所述的图神经网络对图的每条边进行分类；

后处理算法处理分好类的表格结构的图，得到各单元格的结构属性，并转换为描述表格结构的标记语言。

2.如权利要求1所述的一种联合卷积与图神经网络的表格结构识别方法，其特征在于，所述的深度二维卷积神经网络为关键点识别深度卷积神经网络HRNet的前3个阶段：

，

其中，为输入3通道RGB图像，stage_i为HRNet网络中第i个包含图像不同分辨率特征提取分支的卷积模块；

所述的二维卷积神经网络为为关键点识别深度卷积神经网络HRNet的第4阶段部分：

。

3.如权利要求2所述的一种联合卷积与图神经网络的表格结构识别方法，其特征在于，所述的图神经网络采用图注意力网络：

，

其中，g为基于中心点构建的表达表格结构的图，表示图注意力网络。

4.如权利要求2所述的一种联合卷积与图神经网络的表格结构识别方法，其特征在于，所述图神经网络采用图卷积神经网络：

，

其中，g为基于中心点构建的表达表格结构的图，表示图卷积神经网络。

5.如权利要求3或4所述的一种联合卷积与图神经网络的表格结构识别方法，其特征在于，基于中心点构建表达表格结构的图，包括如下步骤：

计算CNN特征张量，其中为与结构相同，权重不共享的卷积模块；

对每个顶点采用K-NN算法，构建图g的边；

根据各中心点坐标索引CNN特征张量得到图每个顶点的CNN特征向量，其中h，w为图像高与宽方向上的坐标；

拼接CNN特征向量与中心点坐标及中心点相对坐标，得到每个顶点的特征向量f_n，其中n为顶点编号；

根据边两个顶点的CNN特征向量，取均值得边的CNN特征向量，并拼接两顶点的x轴绝对与相对距离、y轴绝对与相对距离和绝对与相对欧式距离，得到每个边的特征向量v_m，其中m为边的编号:

其中H和W分别为图像的高与宽，与表示两个顶点x轴坐标分量，与表示两个顶点y轴坐标分量，由此获得图g=({f_n}, {v_m}, A)，其中A为图g的邻接矩阵。