[发明专利]一种基于半监督学习的文字识别方法

权利要求书

1.一种基于半监督学习的文字识别方法，其特征在于，包括以下步骤：

步骤1：收集未标注的真实文本图片集合，记为X_u，收集另一标注后的文本图片集合，记为X_l，并将对应的标签集合记为

步骤2：构建半监督文字识别网络，包括四个模块，分别是编码模块Encoder，自注意力融合模块SA，解码模块Decoder，字频空间对齐模块FA；

所述编码模块Encoder，包含：3a+1个卷积层，n个最大池化层，1个高度方向的自适应池化层；

所述自注意力融合模块SA，包括：包含3个卷积层的特征变换模块、相关度计算模块、融合模块；

所述解码模块Decoder，包括：一层1×1的卷积层，一个softmax激活函数；

步骤3、运行半监督文字识别网络：

步骤3.1、运行编码模块：

将未标注的真实文本图片集合X_u和另一标注后的文本图片集合X_l中的每一张图片输入所述编码模块Encoder中，每经过a个卷积层后再经过一个池化层的下采样处理，从而在经过3a个卷积层以及下采样处理后，得到尺寸为的特征图F，其中，H和W是所输入的每一张图片的高与宽；所述特征图F通过高度方向的自适应池化层与一层卷积层处理后，得到形状为的二维特征序列S，其中，C为最后一层卷积层的卷积核数目；

步骤3.2、运行自注意力融合模块：

将所述二维特征序列S输入所述自注意力融合模块SA中，经过所述特征变换模块的3次卷积处理，得到3个变换之后的特征，记为Q、K、V；

所述相关度计算模块计算特征Q与特征K之间的相关度sim＝Q·K^T；

所述融合模块根据所述相关度sim进行特征融合，得到输出特征F_out＝softmax(sim)·V；

步骤3.3、运行解码模块：

将所述输出特征F_out输入所述解码模块Decoder中进行卷积处理并经过softmax激活函数后，将输出特征F_out映射到类别空间中，得到长度L为的二维预测概率矩阵y＝{y₁,y₂,...,y_i,...,y_L}；y_i是长度为M的向量，表示第i个位置预测的概率，M表示字符类别的数量；

步骤3.4、运行字频空间对齐模块：

将所述二维预测概率矩阵输入所述字频空间对齐模块FA中，并映射到频率空间中，从而输出对应图片的预测字符频率

步骤4：分别计算未标注的真实文本图片集合X_u与另一标注后的文本图片集合X_l的损失函数，训练半监督文字识别网络；

步骤4.1、计算标注后的文本图片集合X_l的损失函数：

将所述标注后的文本图片集合X_l中任意一张输入图片记为x_l，对应的标签记为输入图片x_l经过半监督文字识别网络的运行后，得到对应的预测字符频率则输入图片x_l的损失函数为

步骤4.2、计算未标注的真实文本图片集合X_u的损失函数：

将所述未标注的真实文本图片集合X_u中任意一张输入图片记为x_u，对输入图片x_u进行两次不同的数据增强处理，得到两张增强后的图片，记为x_u1与x_u2；

将增强后的图片x_u1与x_u2分别经过半监督文字识别网络的运行后，得到对应的预测字符频率与则输入图片x_u的损失函数为

步骤4.3、训练半监督文字识别网络：

首先计算总体损失函数：loss_total＝loss_l+δ×loss_u，然后利用反向传播算法训练所述半监督文字识别网络，从而得到训练后的文字识别网络；其中，δ表示权重；

步骤5：利用训练后的文字识别网络对任意输入的待识别图片进行识别，得到待识别图片的二维预测概率矩阵y^*，再选择二维预测概率矩阵y^*中最大概率所对应的类别，作为待识别图片的预测结果。