[发明专利]一种声学模型的自适应训练方法及系统

权利要求书

1.一种声学模型的自适应训练方法，包括：

步骤S1，进行语音特征提取，并将其作为输入训练并生成种子模型，得到目标函数；

步骤S2，对种子模型的网络结构进行调整，加入线性层，包括：在得到种子模型以后，在第一个隐层的后面加入隐线性层，对该种子模型的网络结构进行调整；

其中，在加入线性层后，自适应层的权重W_a和偏移公式B_a如下：

W_a＝W_LHN×W_SI

B_a＝B_SI+B_LHN×W_SI

其中，W_LHN和B_LHN是隐线性层的权重和偏移，W_SI和B_SI是跟随在线性层后面的层的权重和偏移；

步骤S3，在目标函数的基础上，添加KL散度正则项；

步骤S4，训练线性层，重新利用反向传播算法估计隐线性层的权重和偏移，包括在网络结构及目标函数确定后，通过反向传播算法进行神经网络学习，包括正向传播过程与反向传播过程，其中，在正向传播阶段，将语音信号的特征作为神经网络训练输入，获得激励响应；在反向传播阶段，将激励响应与训练输入对应的目标输出求误差，从而获得响应误差，将输入激励与响应误差相乘，从而获得权重的梯度，并完成对权重的更新，再根据线性层训练结果估计隐线性层的权重和偏移，其中，权重及偏移更新采用以下公式进行：

其中，α为学习率；

步骤S5，训练完成，输出自适应模型。

2.根据权利要求1所述的自适应训练方法，其中，在加入隐线性层时，将该隐线性层的权重初始化为单位矩阵以及偏移初始化为零。

3.根据权利要求1所述的自适应训练方法，其中，所述步骤S1包括：

从原始语音及自适应语音数据中，提取梅尔标度滤波器组特征，并提取梅尔频谱特征，将梅尔频谱作为原始语音的特征。

4.根据权利要求1所述的自适应训练方法，其中，所述步骤S1还包括：

利用原始语音的特征作为输入，以负交叉熵为目标函数，训练得到种子模型的参数，其中，负交叉熵的公式如下：

其中，N是训练集中的样本个数，S是神经网络的输出个数，p(y|x_t)是后验概率，是对齐目标概率。

5.根据权利要求4所述的自适应训练方法，其中，所述步骤S3包括：

以负交叉熵作为目标函数，加入KL散度正则项，并删除与模型参数无关项，新的目标函数变为：

其中，ρ为插值因子，p^SI(y|x_t)为种子模型估计的后验概率。

6.根据权利要求1所述的自适应训练方法，其中，所述步骤S2中，在得到种子模型以后，线性层在输入层后加入，或者是在输出层前加入，对该种子模型的网络结构进行调整。

7.一种采用如权利要求1至6任一项所述的声学模型的自适应训练方法的自适应训练系统，包括：

特征提取输入单元，进行语音特征提取，并将其作为输入训练；

种子模型训练与产生单元，连接到特征提取输入单元，通过特征提取输入单元提取的语音特征作为训练输入，训练并生成种子模型；

线性层加入单元，连接到种子模型训练与产生单元，用于对种子模型的网络结构进行调整，加入线性层，包括：在得到种子模型以后，在第一个隐层的后面加入隐线性层，对该种子模型的网络结构进行调整；

其中，在加入线性层后，自适应层的权重W_a和偏移公式B_a如下：

W_a＝W_LHN×W_SI

B_a＝B_SI+B_LHN×W_SI

其中，W_LHN和B_LHN是隐线性层的权重和偏移，W_SI和B_SI是跟随在线性层后面的层的权重和偏移；

KL散度加入单元，同样连接到种子模型训练与产生单元，在交互熵目标函数的基础上，添加KL散度正则项；

线性层训练单元，连接到种子模型训练与产生单元，用于在调整网络结构及加入KL散度正则项后，训练线性层，重新利用反向传播算法估计隐线性层的权重和偏移，包括：在网络结构及目标函数确定后，通过反向传播算法进行神经网络学习，包括正向传播过程与反向传播过程，其中，在正向传播阶段，将语音信号的特征作为神经网络训练输入，获得激励响应；在反向传播阶段，将激励响应与训练输入对应的目标输出求误差，从而获得响应误差，将输入激励与响应误差相乘，从而获得权重的梯度，并完成对权重的更新，再根据线性层训练结果估计隐线性层的权重和偏移，其中，权重及偏移更新采用以下公式进行：

其中，α为学习率；

自适应模型产生单元，连接到线性层训练单元，用于输出自适应模型。