[发明专利]基于深层神经网络的声学模型训练方法、主机和系统

权利要求书

1.一种基于深层神经网络的声学模型训练方法，其特征在于，包括：

主控主机将原始深层神经网络的各副本深层神经网络下发给至少一个运算主机，以指示运算主机基于训练数据对副本深层神经网络进行训练；

主控主机定时查询各所述运算主机的状态，若查询到处于训练停止状态的运算主机，获取停止状态运算主机上副本深层神经网络的加权参数的变化量；

主控主机根据所述停止状态运算主机上副本深层神经网络的加权参数的变化量，更新主控主机上原始深层神经网络的加权参数；

主控主机利用更新后的原始深层神经网络的加权参数绝对值更新所述停止状态运算主机上副本深层神经网络的加权参数绝对值。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

主控主机将各份训练数据进行调度，分配给相同或不同的运算主机。

3.一种基于深层神经网络的声学模型训练方法，其特征在于，包括：

运算主机从主控主机获取原始深层神经网络的副本深层神经网络；

所述运算主机基于训练数据对副本深层神经网络进行训练，且按照设定规律进入停止状态；

当所述运算主机处于停止状态时，将所述副本深层神经网络的加权参数的变化量提供给所述主控主机；

所述运算主机接收所述主控主机发送的原始深层神经网络的加权参数绝对值，并根据加权参数绝对值更新副本深层神经网络的加权参数。

4.根据权利要求3所述的方法，其特征在于，所述运算主机基于训练数据对副本深层神经网络进行训练，且按照设定规律进入停止状态包括：

所述运算主机基于当前的训练数据对副本深层神经网络进行训练，且在针对所述当前的训练数据训练完成时，进入停止状态；或

所述运算主机基于当前的训练数据对副本深层神经网络进行训练，且按照设定训练间隔时间进入停止状态，且根据加权参数绝对值更新副本深层神经网络的加权参数之后，还包括：所述运算主机重新启动根据当前的训练数据对副本深层神经网络进行训练。

5.根据权利要求3或4所述的方法，其特征在于，所述运算主机基于训练数据对副本深层神经网络进行训练包括：

运算主机在运算主机的至少一个图形处理器GPU上分别对副本深层神经网络进行训练；

运算主机在运算主机的中央处理器CPU上轮询各GPU上训练的副本深层神经网络的加权参数的变化量；

运算主机根据各GPU上训练的副本深层神经网络的加权参数的变化量在CPU上更新副本深层神经网络的加权参数；

运算主机根据更新后CPU上深层神经网络的加权参数，更新各GPU上的副本深层神经网络的加权参数。

6.根据权利要求5所述的方法，其特征在于，运算主机在运算主机的至少一个GPU上对副本深层神经网络进行训练包括：

运算主机在GPU上采用随机梯度下降法、牛顿法或共轭梯度法计算所述副本深层神经网络的加权参数。

7.一种基于深层神经网络的声学模型训练的主控主机，其特征在于，包括：

深层神经网络下发模块，用于将原始深层神经网络的各副本深层神经网络下发给至少一个运算主机，以指示运算主机基于训练数据对副本深层神经网络进行训练；

加权参数变化量获取模块，用于定时查询各所述运算主机的状态，若查询到处于训练停止状态的运算主机，获取停止状态运算主机上副本深层神经网络的加权参数的变化量；

原始深层神经网络更新模块，用于根据所述停止状态运算主机上副本深层神经网络的加权参数的变化量，更新主控主机上原始深层神经网络的加权参数；

副本深层神经网络更新模块，用于利用更新后的原始深层神经网络的加权参数绝对值更新所述停止状态运算主机上副本深层神经网络的加权参数绝对值。

8.根据权利要求7所述的主控主机，其特征在于，还包括：

训练数据分配模块，用于将各份训练数据进行调度，分配给相同或不同的运算主机。