[发明专利]一种深度学习场景文本序列识别方法

说明书

本发明涉及一种深度学习场景文本序列识别方法。为了降低池化层降采样带来的负面影响，本发明使用稠密神经网络DenseNet作为卷积层基础模块，同时将稠密神经网络中使用的平均池化操作替换为卷积核为2*2、步长为2的卷积操作用于降采样，并在第三个卷积模块之后加入线性插值模块，将第三个卷积模块的输出结果进行双线性插值，能够在一定程度上恢复降采样丢失的特征信息，进而接入卷积模块加深网络深度，提取更深层次的特征。另外为了提升计算效率，本发明去除了循环层，直接使用卷积层和转录层进行场景文本识别。

技术领域

本发明涉及一种对包含有重要文本信息的图片上的中英文文本序列进行识别的方法。

背景技术

现有主流基于深度学习的字符识别方法框架已经在社会上取得广泛关注。较早期的字符识别都是针对单一字符进行识别，但是在现实世界中的视觉对象往往是以序列形式出现的，例如营业执照，身份证照片等。因此此类字符识别方法在实际应用上仍有较大的局限性。根据最新研究进展，一种端对端训练的神经网络算法，卷积循环神经网络(Convolutional Recurrent Neural Network,CRNN)算法，针对场景文本序列进行训练，能够对场景中的文本序列进行识别代替以往的单一字符识别。CRNN网络架构包含1)卷积层，从输入图像中提取特征序列；2)循环层，预测每一帧的标签分布；3)转录层，将每一帧的预测变为最终的标签序列。具体为：

步骤1、输入包含文本序列图像；

步骤2、在卷积层中经过多层的卷积操作和池化操作后，输出图像的卷积特征图；

步骤3、将卷积特征图输入循环神经网络预测每一帧的标签分布，得到网络输出；

步骤4、将网络输出输入转录层中联合时间分类(CTC)模块，去除冗余字符得到最终文本识别结果。

图1展示了CRNN场景文本识别流程，图2展示了CRNN的卷积层结构，即先将输入图片进行两次卷积，然后做一次池化，上述步骤重复两次，进而将输出卷积三次，池化一次，该步骤重复三次输出几位CRNN卷积层输出结果。注意到CRNN在卷积层中使用池化操作来降采样，降低每层输出的特征尺寸，也因此存在丢弃重要特征的可能性，所以最终的识别结果会出现漏识别的情况，尤其是遇到占位比比较小的字符时，它们的特征有可能会丢失很多(本身的特征信息比较少)。另外，循环层中需要将循环神经网络模块中隐藏层单元连接起来，计算效率较低，而实际应用中发现卷积操作同样能够预测每一帧的标签分布。

发明内容

本发明的目的是提供一种基于联合线性插值上采样的稠密神经网络算法的场景字符识别方法。

为了达到上述目的，本发明的技术方案是提供了一种深度学习场景文本序列识别方法，其特征在于，包括以下步骤：

步骤1、对联合线性插值上采样的稠密卷积神经网络进行训练，该联合线性插值上采样的稠密卷积神经网络包括三层稠密模块加卷积模块层、对第三层稠密模块加卷积模块层的输出结果进行双线性差值以增大特征图尺寸的线性差值模块、接收线性差值模块的输出并进行序列特征提取的一层稠密模块层、对稠密模块层的输出进行卷积操作从而产生最终的特征序列的一层卷积层，其中，稠密模块为平均池化操作被替换为卷积核为2*2、步长为2的卷积操作的稠密神经网络；

步骤2、实时输入包含文本序列的图像；

步骤3、文本序列图像输入训练后的联合线性插值上采样的稠密卷积神经网络得到与步骤2输入的图像相对应的特征序列；

步骤4、将特征序列输入转录层中的归一指数函数分类器，得到特征序列中每一帧的预测标签，进而将预测标签输入转录层中的联接时间分类模块，去除冗余字符得到最终文本识别结果。

优选地，所述步骤1包括：

步骤101、将训练数据输入联合线性插值上采样的稠密卷积神经网络，训练数据包括序列图像和序列标签；