[发明专利]表格信息的识别方法及装置、电子设备

权利要求书

1.一种表格信息的识别方法，其特征在于，所述方法包括：

利用文字识别算法，识别表格图像中所有的表单元格；

基于所述表单元格的位置信息，生成表格布局矩阵；

将所述表格布局矩阵映射到所述表格图像中，获取每个表单元格映射在所述表格图像后圈定的子图像；

利用光学字符识别算法，识别每个子图像中的文字信息。

2.根据权利要求1所述的方法，其特征在于，所述基于文字识别算法，识别表格图像中所有的表单元格，包括：

利用二值化算法，对所述表格图像进行二值化处理，得到二值图像；

利用涂抹变换算法，去除所述二值图像中的文字信息；

利用直线检测算法，对去除文字信息的二值图像进行直线检测，确定表单元格的边框线；

利用轮廓检测算法，基于所述边框线确定所有的表单元格的位置信息；其中，所述位置信息为表单元格的四条边框线的坐标信息。

3.根据权利要求2所述的方法，其特征在于，所述去除所述二值图像中的文字，包括：

确定所述二值图像中文字信息所在区域；

将所述文字信息所在区域的像素值替换为相邻区域的像素值。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

利用高斯模糊算法和/或自适应阈值算法对所述二值图像进行优化处理，得到优化的二值图像；

相应地，所述去除所述二值图像中的文字信息，包括：

去除所述优化的二值图像中的文字信息。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对去除文字信息的二值图像进行膨胀变换，得到表单元格的边框变粗的二值图像；

对所述边框变粗的二值图像进行腐蚀变换，得到原始粗细的边框的二值图像；

相应地，所述对去除文字信息的二值图像进行直线检测，确定表单元格的边框线，包括：

对所述腐蚀变换的二值图像进行直线检测，确定表单元格的边框线。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用图像描述模型，识别所述表格图像中所有的行列的位置信息；

所述基于所述表单元格的位置信息，生成表格布局矩阵，包括：

基于所述表单元格的位置信息和行列的位置信息，生成表格布局矩阵。

7.根据权利要求6所述的方法，其特征在于，所述利用图像描述算法，识别所述表格图像中所有的行列的位置信息，包括：

基于所述图像描述模型中的特征提取算法提取所述表格图像中的图像特征；

基于所述图像描述模型的编码器，生成所述表格图像中表格行与列的超文本标记语言标签序列；

基于所述图像描述模型的解密器，计算所述图像特征与超文本标记语言标签序列，生成行列结构的位置信息。

8.根据权利要求6所述的方法，其特征在于，所述基于所述表单元格的位置信息和行列的位置信息，生成表格布局矩阵，包括：

基于所述表单元格的位置信息，生成表格布局第一矩阵；

基于所述行列的位置信息，生成表格布局第二矩阵；

融合所述表格布局第一矩阵和表格布局第二矩阵，得到最终的表格布局矩阵。

9.根据权利要求8所述的方法，其特征在于，所述融合所述表格布局第一矩阵和表格布局第二矩阵，包括：

对所述表格布局第一矩阵和表格布局第二矩阵进行加权平均。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

输出包含识别的每个子图像中的文字信息的结构化数据。

11.根据权利要求1所述的方法，其特征在于，所述表格图像包括有框表格图像。