[发明专利]一种自然场景图像中的英文文字和数字识别方法

权利要求书

1.一种自然场景图像中的英文文字和数字识别方法，包括如下步骤：

步骤(一)，采用深度神经网络中的卷积神经网络对输入的图像进行特征提取，将卷积神经网络的输出作为特征提取的结果；所述卷积神经网络从输入到输出依次由：卷积层1、批量标准化层1、池化层1、卷积层2、批量标准化层2、池化层2、卷积层3、批量标准化层3、卷积层4、批量标准化层4、池化层4、卷积层5、批量标准化层5、卷积层6、批量标准化层6、池化层6、卷积层7、批量标准化层7组成；其中卷积层1～7的参数按照卷积核大小、通道数目、滑动间隔和扩充大小的顺序依次为：(3,64,1,1)，(3,128,1,1)，(3,256,1,1)，(3,256,1,1)，(3,512,1,1)，(3,512,1,1)和(2,512,1,0)；批量标准化层1～7的目的是调整中间结果数据的分布，没有参数；池化层1、2、4、6的参数按照池化窗口、左右滑动间隔，上下滑动间隔，左右扩充大小和上下扩充大小的顺序依次为：(2*2,2,2,0,0)，(2*2,2,2,0,0)，(1*2,1,2,0,0)和(1*2,1,2,0,0)；图像在输入到卷积神经网络之前需要将图像的分辨率调整为80×32，所述卷积神经网络的输出为大小为512×19的二维特征矩阵；将所述二维特征矩阵序列化后得到包含19个大小为1×512向量的特征序列，表示为：S＝{s₁,s₂,...s_L}，其中s_i∈R⁵¹²，i＝1，2，…，L；L＝19，表示序列的长度；

步骤(二)，采用注意力机制对包含19个大小为1×512向量的特征序列S进行特征聚焦：按照从左到右的空间顺序依次识别图像中的字符，设定训练数据集中的字符长度最大为24，对特征序列S进行24次特征聚焦，将每一次的特征聚焦当作一个时刻；输出特征向量的集合V_f，V_f＝{V₁,V₂,...V_T}，T＝24；其中特征向量V_t表示第t次特征聚焦的结果：且代表第t次特征聚焦时注意力机制的系数，其中其中h_t-1表示第三步骤中第t-1时刻长短时记忆单元的隐变量；W^T，W_a，U_a和b_a是注意力模型的参数，由基于随机梯度下降的后向传播算法进行训练；

步骤(三)，利用深度神经网络中的长短时记忆网络对聚焦后的特征向量进行识别：长短时记忆网络含有24个单元，第t时刻的长短时记忆单元的输入就是第t次特征聚焦后的特征向量V_t，输出就是识别出的字符类别J_t；每个时刻选取概率最大的字符类别作为此时刻长短时记忆单元的输出，选取方式为：其中z_i＝softmax(h_t)；所述h_t表示第t时刻长短时记忆单元的隐变量；识别结束后整个网络的输出就是24个字符的组合，取结束符之前的字符串作为最终的识别结果；其中所述J_t有37个类别，包括：26个英文字母，0～9共10个数字，结束符“-”；所述结束符表示字符串识别结束。

2.如权利要求1所述的方法，其特征在于，对该方法中的参数进行训练的方法为：设X＝{I_i,L_i}为训练数据集，I_i表示第i个图像，L_i为第i个图像中字符串的真实值；训练过程中的目标函数为：其中W表示卷积神经网络，注意力机制和长短时记忆网络的参数，W^*表示所述参数的最优数值，L_i,t表示第i个图像对应的标签中的第t个字符，p(J_t＝L_i,t|I_i,J₁,…J_t-1)为在已知前t-1个字符取值时，第t个字符的取值标签L_i,t的概率；利用基于随机梯度下降的后向传播算法对网络参数W进行训练。

3.如权利要求1所述的方法，其特征在于，所述输入的图像为灰度图。