[发明专利]图片表格的识别方法、装置、电子设备及存储介质

权利要求书

1.一种图片表格的识别方法，其特征在于，包括：

通过基于表格线的语义分割模型和基于表格内容区域的语义分割模型，对图片表格的表格区域进行分割，得到与表格横线对应的横线分割灰度图、与表格竖线对应的竖线分割灰度图、与行文本内容对应的行区域分割灰度图和与列文本内容对应的列区域分割灰度图；

分别对所述横线分割灰度图和所述竖线分割灰度图进行二值化处理，并对二值化处理后的所述横线分割灰度图和二值化处理后的所述竖线分割灰度图进行连通区域分析和聚类，得到与所述横线分割灰度图对应的横线段对象集合和与所述竖线分割灰度图对应的竖线段对象集合；

分别对所述行区域分割灰度图和所述列区域分割灰度图进行二值化处理，并对二值化处理后的所述行区域分割灰度图和二值化处理后的所述列区域分割灰度图进行连通区域分析和聚类，得到与所述行区域分割灰度图对应的多个行区域像素点集合和与所述列区域分割灰度图对应的多个列区域像素点集合；

根据所述横线段对象集合与所述竖线段对象集合对应的线段交点、所述多个行区域像素点集合与所述多个列区域像素点集对应的重叠区域，确定出与所述表格区域对应的多个单元格；

对所述图片表格中的内容进行文本提取，得到所述图片表格中的文本内容；

基于所述文本内容的位置和所述多个单元格中每个单元格的位置，将所述文本内容添加至对应的单元格中。

2.根据权利要求1所述的方法，其特征在于，根据所述横线段对象集合与所述竖线段对象集合对应的线段交点、所述多个行区域像素点集合与所述多个列区域像素点集对应的重叠区域，确定出与所述表格区域对应的多个单元格，包括：

根据所述横线段对象集合与所述竖线段对象集合对应的线段交点，确定出与所述表格区域对应的多个单元格顶点；

基于与所述表格区域对应的多个单元格顶点、所述多个行区域像素点集合与所述多个列区域像素点集对应的重叠区域，得到与所述表格区域对应的多个单元格。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述图片表格、所述横线分割灰度图、所述竖线分割灰度图、所述行区域分割灰度图和所述列区域分割灰度图作为预先训练的单元格合并判别模型的输入进行运算，得到相邻单元格之间的置信度矩阵；

基于相邻单元格之间的置信度矩阵，对相邻的单元格进行合并处理，得到多个目标单元格；

所述基于所述文本内容的位置和所述多个单元格中每个单元格的位置，将所述文本内容添加至对应的单元格中，包括：

基于所述文本内容的位置和所述多个目标单元格中每个目标单元格的位置，将所述文本内容添加至对应的目标单元格中；

其中，所述置信度矩阵用于表征相邻单元格是否需要合并的置信度。

4.根据权利要求3所述的方法，其特征在于，所述基于所述文本内容的位置和所述多个目标单元格中每个目标单元格的位置，将所述文本内容添加至对应的目标单元格中，包括：

对所述文本内容进行排序；

基于所述文本内容的位置和所述多个目标单元格中每个目标单元格的位置，将排序后的所述文本内容添加至对应的目标单元格中。

5.根据权利要求1所述的方法，其特征在于，所述对所述图片表格中的内容进行文体提取，得到所述图片表格中的文本内容，包括：

对所述图片表格中的内容进行文本检测和文本识别，得到所述图片表格中的文本内容。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对获取到的图片表格进行表格提取，得到所述图片表格中的表格区域。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将所述表格区域缩放至预定尺寸；

所述通过基于表格线的语义分割模型和基于表格内容区域的语义分割模型，对图片表格的表格区域进行分割，包括：

通过基于表格线的语义分割模型和基于表格内容区域的语义分割模型，对缩放后的所述表格区域进行分割。