[发明专利]自然场景图像中曲线文字的检测识别方法

权利要求书

1.一种自然场景图像中曲线文字的检测识别方法，包括以下步骤：

1)对基于Mask RCNN网络的曲线文字检测网络进行训练，该曲线文字检测网络包括一用于增强文字特征的TFE模块，该TFE模块包括多个过滤器和单元，每个过滤器采用1*1卷积核，每个单元含有3*3卷积核、1*7卷积核和7*1卷积核；每个单元根据公式F_m＝ψ(S_m,F_m+1；θ_m)输出增强的文字特征，其中S_m表示第m级旁路通过滤波器后输出的特征图；F_m+1表示输出特征；ψ(·)表示增强文字特征的函数，θ_m表示在第m个单元中学习到的参数；在TFE模块中，一个单元的输入被分配给旁路以输出深层特征，其余单元利用该深层特征融合浅层特征，得到融合后的特征；

利用训练好的曲线文字检测网络对自然场景图像进行检测，检测步骤包括：

提取图像的文字特征，并对文字特征进行增强；

根据增强的文字特征生成候选框，通过特征分配将生成的候选框与增强的文字特征进行对应，并投影候选框的特征到不同的尺寸固定的特征；利用金字塔ROI池化注意力子模块投影候选框的特征到不同的尺寸固定的特征，公式如下：

其中，Fⁱ是第i级候选框对应的特征，ρ_n表示池化窗口的大小，N表示池化窗口的数量；

对不同的尺寸固定的特征进行候选框微调，检测出图像中的文字区域；微调的方法为：将不同的尺寸固定的特征输入到文本框微调子模块进行分类和回归；再输入到文本框切割子模块生成图像掩码，切割出任意形状的文字区域；文本框切割子模块包括若干卷积层、ReLU激活层以及一个1*1卷积核的卷积层；特征输入到文本框切割子模块后，经过若干卷积层和ReLU激活层之后，输入到一个1*1卷积核的卷积层用于生产文字/非文字的图像掩码；掩码生成公式为：

其中Ω(·)表示向量化操作，将一个张量转换成一个向量，Ω^-1是Ω(·)的反向运算，Φ(·)是非线性函数由两个全连接层和非线性ReLU操作组成，Θ表示全连接层学习到的参数；

2)利用矫正网络将文字区域的曲线文字矫正成水平文字，输出矫正后图像；

3)对曲线文字识别网络进行训练，利用训练好的曲线文字识别网络提取矫正后图像的卷积特征，对卷积特征进行解码，识别出文字。

2.如权利要求1所述的方法，其特征在于，对曲线文字检测网络进行训练的数据集包括自然场景曲线文字图片和对应的文字区域掩码图片；对曲线文字识别网络进行训练的数据集包括曲线文字图片和对应的文字信息。

3.如权利要求1所述的方法，其特征在于，曲线文字检测网络以ResNet-50作为主干网络，通过ResNet-50提取文字特征；利用RPN网络产生候选框。

4.如权利要求1所述的方法，其特征在于，候选框对应特征分配公式如下：

其中,Ι(·)表示指示函数，Fⁱ是第i级候选框对应的特征，Aⁱ表示第i级候选框的候选区域面积大小，表示第m级的候选区域面积上界。

5.如权利要求1所述的方法，其特征在于，利用后处理方法去除低置信分数的文字区域掩码，生成最终检测的文字区域；该后处理方法步骤如下包括：

根据生成的候选框和文本框微调子模块产生的位置偏移，获得场景文字的外接矩形框的绝对位置；

根据预测到的每个外接矩形框的置信度，过滤掉置信度低于一阈值的预测框；

将预测到的掩码缩放到与其外界矩形框同等大小的尺度，根据阈值将其二值化；

根据外界矩形框的绝对位置，将上述二值化的掩码映射成与输入图像同等尺度的二值图；

利用掩码级的NMS过滤掉上述得到的密集重叠的二值掩码；

对于剩余的二值掩码，利用opencv自带的边缘获取算法得到文字区域的边缘坐标，标出任意形状文字位置。