[发明专利]图像中表格信息的识别方法、装置、电子设备及存储介质

权利要求书

1.一种图像中表格信息的识别方法，其特征在于，所述方法包括：

接收具有表格的目标图像；

从所述目标图像中确定包含表格的表格图像；

对所述表格图像进行文本行检测，确定所述表格图像中文本行的位置；

去除所述表格图像的表格线；

根据所述文本行的位置，从去除表格线后的表格图像中分割出文本图像；

对所述分割出的文本图像进行识别，得到所述表格图像的文字信息；

基于所述表格图像中文本行的位置，去除所述表格图像中的字符；

确定去除字符后的表格图像中交点数量及封闭单元格的数量；

根据所述表格线的交点数量确定所述表格的单元格数量；

基于所述封闭单元格的数量与所述单元格数量，确定所述表格图像的表格线是否完整；

如果所述表格图像的表格线不完整，将所述表格图像的表格线补全；

对表格线完整的表格图像进行表格识别，得到所述表格图像的表格结构信息。

2.如权利要求1所述的方法，其特征在于，所述基于所述封闭单元格的数量与所述单元格数量，确定所述表格图像的表格线是否完整的步骤，包括：

判断所述封闭单元格的数量与所述单元格数量是否相等；

如果所述封闭单元格的数量与所述单元格数量相等，确定所述表格图像的表格线完整；

如果所述封闭单元格的数量与所述单元格数量不相等，确定所述表格图像的表格线不完整。

3.如权利要求1所述的方法，其特征在于，所述对所述分割出的文本图像进行识别，得到所述表格的文字信息的步骤，包括：

对所述分割出的文本图像进行文字识别，得到所述表格图像的文字识别结果；

对所述文字识别结果进行语义分析，得到各文本行对应的语义；

根据所述各文本行对应的语义，对所述文字识别结果进行分类，得到每个文字识别结果对应的类别；

根据所述文字识别结果对应的类别，对所述文字识别结果进行存储，得到所述表格图像的文字信息。

4.如权利要求1-3任一项所述的方法，其特征在于，所述从所述目标图像中确定包含表格的表格图像的步骤，包括：

将所述目标图像输入预先训练完成的深度学习模型，得到所述目标图像中表格的目标位置；

根据所述目标位置，判断所述目标位置对应的表格区域是否扭曲；

如果是，对所述表格区域进行仿射变换处理，得到所述目标图像对应的表格图像。

5.如权利要求1-3任一项所述的方法，其特征在于，所述对所述表格图像进行文本行检测，确定所述表格图像中文本行的位置的步骤，包括：

利用pixel link算法对所述表格图像进行文本行检测，确定所述表格图像中文本行的位置。

6.如权利要求1-3任一项所述的方法，其特征在于，所述表格图像中文本行的位置包括所述表格图像中所有文本行的位置；

所述文本行的位置为所述文本行的最小外接矩形的顶点坐标，所述顶点坐标为所述最小外接矩形的四个顶点的坐标，或，所述顶点坐标为所述最小外接矩形的对角顶点的坐标。

7.如权利要求1-3任一项所述的方法，其特征在于，所述去除所述表格图像的表格线的步骤，包括：

将所述表格图像的表格线的颜色填充为所述表格图像的背景色。

8.如权利要求1-3任一项所述的方法，其特征在于，所述基于所述表格图像中文本行的位置，去除所述表格图像中的字符的步骤，包括：

将所述表格图像中文本行的位置对应的矩形区域填充为所述表格图像的背景色。

9.如权利要求1-3任一项所述的方法，其特征在于，所述确定去除字符后的表格图像中交点数量及封闭单元格的数量的步骤，包括：

采用findContours算法检测去除字符后的表格图像中封闭单元格的数量以及表格线的交点数量。