[发明专利]一种自然场景图像中的英文文字和数字识别方法

摘要

本发明提供一种自然场景图像中的英文文字与数字识别方法，将自然场景中的英文文字和数字的识别问题分为特征提取，特征聚焦和特征识别三个步骤，利用卷积神经网络对输入图像进行特征提取，注意力机制对特征序列中的有用信息进行聚焦，长短时记忆网络对特征向量进行识别，从而将深度神经网络和注意力机制结合，当输入图像到深度神经网络时，可以直接得出最终的识别结果。本发明不需要对输入图像进行滑窗操作并对窗口中的字符进行识别；同时本发明输出的字符串即为最终的识别结果，不需要合并算法对识别后的字符串进行整合。

主权项

1.一种自然场景图像中的英文文字和数字识别方法，包括如下步骤：步骤(一)，采用深度神经网络中的卷积神经网络对输入的图像进行特征提取，将卷积神经网络的输出作为特征提取的结果；所述卷积神经网络从输入到输出依次由：卷积层1、批量标准化层1、池化层1、卷积层2、批量标准化层2、池化层2、卷积层3、批量标准化层3、卷积层4、批量标准化层4、池化层4、卷积层5、批量标准化层5、卷积层6、批量标准化层6、池化层6、卷积层7、批量标准化层7组成；其中卷积层1～7的参数按照卷积核大小、通道数目、滑动间隔和扩充大小的顺序依次为：(3,64,1,1)，(3,128,1,1)，(3,256,1,1)，(3,256,1,1)，(3,512,1,1)，(3,512,1,1)和(2,512,1,0)；批量标准化层1～7的目的是调整中间结果数据的分布，没有参数；池化层1、2、4、6的参数按照池化窗口、左右滑动间隔，上下滑动间隔，左右扩充大小和上下扩充大小的顺序依次为：(2*2,2,2,0,0)，(2*2,2,2,0,0)，(1*2,1,2,0,0)和(1*2,1,2,0,0)；图像在输入到卷积神经网络之前需要将图像的分辨率调整为80×32，所述卷积神经网络的输出为大小为512×19的二维特征矩阵；将所述二维特征矩阵序列化后得到包含19个大小为1×512向量的特征序列，表示为：S＝{s₁,s₂,...s_L}，其中s_i∈R⁵¹²，i＝1，2，…，L；L＝19，表示序列的长度；步骤(二)，采用注意力机制对包含19个大小为1×512向量的特征序列S进行特征聚焦：按照从左到右的空间顺序依次识别图像中的字符，设定训练数据集中的字符长度最大为24，对特征序列S进行24次特征聚焦，将每一次的特征聚焦当作一个时刻；输出特征向量的集合V_f，V_f＝{V₁,V₂,...V_T}，T＝24；其中特征向量V_t表示第t次特征聚焦的结果：且代表第t次特征聚焦时注意力机制的系数，其中其中h_t‑1表示第三步骤中第t‑1时刻长短时记忆单元的隐变量；W^T，W_a，U_a和b_a是注意力模型的参数，由基于随机梯度下降的后向传播算法进行训练；步骤(三)，利用深度神经网络中的长短时记忆网络对聚焦后的特征向量进行识别：长短时记忆网络含有24个单元，第t时刻的长短时记忆单元的输入就是第t次特征聚焦后的特征向量V_t，输出就是识别出的字符类别J_t；每个时刻选取概率最大的字符类别作为此时刻长短时记忆单元的输出，选取方式为：其中z_i＝softmax(h_t)；所述h_t表示第t时刻长短时记忆单元的隐变量；识别结束后整个网络的输出就是24个字符的组合，取结束符之前的字符串作为最终的识别结果；其中所述J_t有37个类别，包括：26个英文字母，0～9共10个数字，结束符“‑”；所述结束符表示字符串识别结束。