[发明专利]基于深度学习的表格结构重建方法

说明书

本发明公开一种基于深度学习的表格结构重建方法，其包括如下步骤：获取训练图像，所述训练图像显示有表格；对训练图像进行预处理；提取预处理后图像的特征图；利用特征图进行学习和参数更新，获得表格线分类和定位模型；获取用于表格重建的待重建图像，所述待重建图像显示有待重建表格；根据表格线分类和定位模型得到待重建表格的结构信息；对待重建图像进行文字识别和图像目标检测，得到表格内容信息；将待重建表格的结构信息和表格内容信息匹配，重建表格。本发明使用较少的数据即可完成网络的训练使其学习到稳定准确的特征信息，从而大大提高了在低数据样本的情况下表格线信息提取的准确度，同时该算法具有良好的泛化能力和较好的鲁棒性。

技术领域

本发明涉及图像处理和模式识别领域，具体来说，是一种基于图像处理和深度学习方法的表格结构重建方法。

背景技术

表格作为一种常见的文档格式，频繁地出现在人们的生活中，如简历，报名表，财务报表等。表格样式多变，有自己的版式特点，然而，很多时候人们需要使用表格时往往需要自己重新建立新的表格样式，非常耗时。

目前还没成熟的自动化方案可以帮助或辅助用户快速完成表格拷贝或编辑。早期的表格还原或表格识别方法大多是基于线回归或霍夫变换为主要方法的传统图像处理方案，难以应对多种表格样式和场景。

可见，目前的表格重建方案存在着明显的泛化能力差，适用环境单一的问题。

发明内容

本发明旨在提供一种基于深度学习的表格结构重建方法，该方法在表格重建过程中全程无需用户交互，能够适用多种表格样式和场景应用表，并支持跨平台。

为实现上述技术目的，本发明采用的技术方案如下：

一种基于深度学习的表格结构重建方法，包括

获取训练图像，所述训练图像显示有表格；

对训练图像进行预处理；

提取预处理后图像的特征图；

利用特征图进行学习和参数更新，获得表格线分类和定位模型；

获取用于表格重建的待重建图像，所述待重建图像显示有待重建表格；

根据待重建图像得到待重建表格的结构信息；

对待重建图像进行文字识别和图像目标检测，得到表格内容信息；

将待重建表格的结构信息和表格内容信息匹配，重建表格。

较佳地，所述对训练目标图像进行预处理，包括：

对训练图像进行数据增广，生成增广训练数据；

将增广训练数据与真实表格数据混合，然后进行归一化处理；

获取每张训练图像的标签，所述标签包括每个像素点相对于表格结构的相对位置关系。

较佳地，所述提取预处理后图像的特征图，包括：

将预处理后的图像数据和标签作为输入，送入基于深度学习的分割网络进行训练提取出特征图；

所述分割网络采用改进后的Unet分割网络，其选择加权交叉熵损失函数来进行训练。

较佳地，所述根据待重建图像得到待重建表格的结构信息，包括：

将待重建图像送入所述分割网络，得到表格线分类的像素概率矩阵；

根据所得像素概率矩阵生成表格线二值图；

根据表格线二值图提取单元格交叉点；

根据单元格交叉点对单元格的行列进行组合，得到待重建表格的结构信息。