[发明专利]一种基于Maxout神经元的深度双向LSTM声学模型

权利要求书

1.一种基于Maxout神经元的深度双向LSTM声学模型，其特征在于，该模型包括：多个双向长短时记忆网络BLSTM层形成的多层DBLSTM深度双向长短时记忆网络、选择连接层、全连接层和隐马尔可夫模型，其中，所述多层DBLSTM深度双向长短时记忆网络用于语音识别的声学模型，所述选择连接层用于对多个双向长短时记忆网络BLSTM层的输出进行加权变换，所述全连接层用于对加权变换后的值进行非线性变换，最终得到隐马尔可夫模型所需的后验概率，所述隐马尔可夫模型用于得到语音识别概率；将语音特征输入多层DBLSTM网络进行非线性变换，得到具有上下文语音帧信息的特征矢量，多层DBLSTM网络采用CSC-BPTT上下文敏感块的随时间反向传播训练算法进行网络参数训练；多层BLSTM网络输出的数据采用选择连接层对其进行加权变换后再作为全连接层的输入；全连接层对输入数据进行变换，全连接层部分采用Maxout单元代替原来的Sigmoid单元，并且利用Dropout正则化训练算法对其进行参数训练，再通过Softmax输出层得到声学模型中HMM模型所需的后验概率；前端DBLSTM神经网络得到后验概率后，在经过HMM模型最终输出得到声学模型得分；

所述DBLSTM网络通过两个单独的隐含层同时处理两个方向的信息，然后前馈到同一个输出层，DBLSTM网络中含有两个LSTM层，一层从前到后迭代计算前向隐含层向量另一层从后向前迭代计算后向隐含层向量然后，更新输出序列y＝(y₁,y₂,...,y_t,...,y_T)，该网络的迭代过程如下：

b_y表示输出层的偏置向量，y_t表示输出值，H表示输出层的激活函数，表示LSTM中的权值矩阵，表示前向隐含层的偏置向量，表示后向隐含层的偏置向量；

所述DBLSTM深度双向长短时记忆递归神经网络计算方法为：

首先，对于标准的RNN，给定一个输入序列x＝(x₁,x₂,...,x_T)，通过t＝1到T迭代计算出RNN隐含层的状态向量h＝(h₁,h₂,...,h_T)和输出向量y＝(y₁,y₂,...,y_T)，即

h_t＝H(W_xhx_t+W_hhh_t-1+b_h)

y_t＝W_hyh_t+b_y

其中，W代表各层间的权值矩阵；b_h和b_y分别为隐含层和输出层的偏置向量；H为输出层的激活函数，W_xh表示输如层和隐含层之间的权值矩阵，W_hh表示隐含层与隐含层之间的权值矩阵，W_hy表示隐含层和输入层之间的权值矩阵；

LSTM单元中，激活函数H通过下列公式实现：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)

c_t＝f_tc_t-1+i_ttanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t-1+b_o)

h_t＝o_ttanh(c_t)

其中，σ为标准sigmoid函数；i、f、o和c分别为输入门、遗忘门、输出门和内存单元；b_i、b_f、b_o和b_c分别为输入门、遗忘门、输出门和内存单元的偏置向量；W为各单元与门矢量之间的权值矩阵，如W_xi为网络输入和输入门之间的权重矩阵；

所述选择连接层的计算方法为：

y_t表示输出值

该层是将DBLSTM最后一层BLSTM隐含层输出的两个矢量数据按照上述公式进行加权求和，最终得到一个矢量作为全连接层的输入信号；

所述全连接层中Dropout正则化训练算法计算方法为：

Dropout正则化在训练阶段和测试阶段分别采用不同的正则化方法：

1)SGD训练阶段：将二值掩膜m_l应用于原始激活单元，从而获得Maxout神经元输出值：

h_l＝m_l⊙θ(W_l^Th_l-1+b_l)

其中，θ代表神经元进行的非线性变换，⊙是向量的乘积，二值掩膜m_l服从伯努利分布(1-r)，r称为Dropout率；

2)测试阶段：不需要省略激活神经元，但神经元激活值要按照1-r进行缩小用于补偿Dropout训练。