[发明专利]一种基于图像矩矫正的深度学习文本字符检测方法

权利要求书

1.一种基于图像矩矫正的深度学习文本字符检测方法，其特征在于，所述方法包括以下步骤：

A：数据集准备，对所述数据集中随机采样的样本进行预标注，保存所述样本每个字符的box框；

B：人工修正预标注不准的所述box框，根据所述box框生成高斯热图形式的热图标签；

C：定义神经网络结构和损失函数loss_cross；

D：采用所述步骤C中的所确定的网络结构和损失函数loss_cross进行初步的预训练；

E：扩充实际场景的训练样本集；

F：对所述步骤E扩充后的训练样本集进行自适应二值化操作，计算每个字符的Hu矩特征向量，取向量均值作为字符的辅助标签；

G：修改损失函数形式，添加正则项分支，使用所述扩充后的训练样本集用修改后损失函数loss进行微调训练；

H：模型测试与验证，通过对所述预标注生成的高斯热图修改其参数theta，画出在不同的theta阈值下，字符box框的准确率变化曲线，从而根据需求选择合适的参数theta。

2.根据权利要求1所述的一种基于图像矩矫正的深度学习文本字符检测方法，其特征在于，

所述步骤A中数据集主要包括ICDAR2017、ICDAR2019和CTW中的数据，采用EasyOCR训练的公开字符级分割模型对所述数据集中随机采样的样本进行预标注。

3.根据权利要求1所述的一种基于图像矩矫正的深度学习文本字符检测方法，其特征在于，

所述步骤B中预标注不准具体指的是所述字符box框过度分割或者是欠分割；

所述过度分割指所述字符box框未将当前字符全部纳入box框中，所述欠分割是指所述字符box框中除了当前字符外还有其它字符或者符号。

4.根据权利要求1所述的一种基于图像矩矫正的深度学习文本字符检测方法，其特征在于，

所述步骤B中采用透视变换将所述box框映射到二维高斯图上，生成高斯热图形式的标签。

5.根据权利要求1所述的一种基于图像矩矫正的深度学习文本字符检测方法，其特征在于，

所述步骤C中确定神经网络结构具体操作如下：

网络输入预定大小的样本，采取VGG16基准网络作为特征提取网络，U-net作为解码网络；

输出表示置信度区域的像素得分矩阵；

所述步骤C中损失函数loss_cross由以下方法确定：

损失函数loss_cross采用像素级的交叉熵损失，即通过对标签热图设定所述theta阈值，大于所述theta阈值的则认为是字符区域，用类别1表示，小于所述theta阈值的则为非字符区域，用类别0表示。

6.根据权利要求1-5任一所述的一种基于图像矩矫正的深度学习文本字符检测方法，其特征在于，

所述步骤E中扩充实际场景的训练样本集的方法是随机截图或不同角度下拍摄电脑屏幕含有文档的界面，用预训练好的模型进行预标注，用所述步骤B中的方式进行人工修正。

7.根据权利要求1-5任一所述的一种基于图像矩矫正的深度学习文本字符检测方法，其特征在于，

所述theta阈值通过以下步骤得到：

对所述热图标签进行高斯平滑处理，计算其梯度图；

根据分水岭算法确定不同阈值下的联通区域，取每个所述联通区域下的最小外接矩形，即为所述阈值下的字符边框；

随机统计抽样多个字，判断对应的不同所述阈值下最小外接边框的准确性，取准确率最高的所述阈值作为所述theta阈值。