[发明专利]基于深层神经网络的声学模型训练方法、主机和系统

说明书

技术领域

本发明涉及语音识别技术领域，尤其涉及一种基于深层神经网络的声学模型训练方法、主机和系统。

背景技术

目前，神经网络已经成为语音识别的一条新途径。由于深层神经网络反映了人脑功能的基本特征，故具有自组织性、自适应性和连续学习能力等特点，特别适合于解决像语音识别这类模拟人的认知过程和智能处理能力，难以用算法来描述而又有大量样本可供学习的问题。

但是，由于深层神经网络一般具有较大的规模，训练深层神经网络需要的样本数据的规模也较大，造成使用普通的计算装置进行用于语音识别的深层神经网络的训练需要耗费特别长的时间，也就是说，深层神经网络的训练效率不高。

图形处理器（GPU）是一种专门为处理图形显示而设计的处理芯片。由于图形处理器具有不同的用途，其架构从一开始就是为大量并行计算而优化设计的，因此它十分适合被用于深层神经网络语音模型的训练，以提供训练效率。但是，现有的主机最多只能挂载四个图形处理器，因此，即使采用图形处理器，深层神经网络训练的训练效率仍不能令人满意。

发明内容

有鉴于此，本发明提出一种基于深层神经网络的声学模型训练方法、主机和系统，以提高基于深层神经网络的声学模型训练的训练效率。

在第一方面，本发明实施例提供了一种基于深层神经网络的声学模型训练方法，所述方法包括：

主控主机将原始深层神经网络的各副本深层神经网络下发给至少一个运算主机，以指示运算主机基于训练数据对副本深层神经网络进行训练；

主控主机定时查询各所述运算主机的状态，若查询到处于训练停止状态的运算主机，获取停止状态运算主机上副本深层神经网络的加权参数的变化量；

主控主机根据所述停止状态运算主机上副本深层神经网络的加权参数的变化量，更新主控主机上原始深层神经网络的加权参数；

主控主机利用更新后的原始深层神经网络的加权参数绝对值更新所述停止状态运算主机上副本深层神经网络的加权参数绝对值。

在第二方面，本发明实施例提供了一种基于深层神经网络的声学模型训练方法，所述方法包括：

运算主机从主控主机获取原始深层神经网络的副本深层神经网络；

所述运算主机基于训练数据对副本深层神经网络进行训练，且按照设定规律进入停止状态；

当所述运算主机处于停止状态时，将所述副本深层神经网络的加权参数的变化量提供给所述主控主机；

所述运算主机接收所述主控主机发送的原始深层神经网络的加权参数绝对值，并根据加权参数绝对值更新副本深层神经网络的加权参数。

在第三方面，本发明实施例提供了一种基于深层神经网络的声学模型训练的主控主机，所述主控主机包括：

深层神经网络下发模块，用于将原始深层神经网络的各副本深层神经网络下发给至少一个运算主机，以指示运算主机基于训练数据对副本深层神经网络进行训练；

加权参数变化量获取模块，用于定时查询各所述运算主机的状态，若查询到处于训练停止状态的运算主机，获取停止状态运算主机上副本深层神经网络的加权参数的变化量；

原始深层神经网络更新模块，用于根据所述停止状态运算主机上副本深层神经网络的加权参数的变化量，更新主控主机上原始深层神经网络的加权参数；

副本深层神经网络更新模块，用于利用更新后的原始深层神经网络的加权参数绝对值更新所述停止状态运算主机上副本深层神经网络的加权参数绝对值。

在第四方面，本发明实施例提供了一种基于深层神经网络的声学模型训练的运算主机，所述运算主机包括：

副本深层神经网络获取模块，用于从主控主机获取原始深层神经网络的副本深层神经网络；

副本深层神经网络训练模块，用于基于训练数据对副本深层神经网络进行训练，且按照设定规律进入停止状态；

加权参数变化量提供模块，用于当所述运算主机处于停止状态时，将所述副本深层神经网络的加权参数的变化量提供给所述主控主机；

副本深层神经网络更新模块，用于接收所述主控主机发送的原始深层神经网络的加权参数绝对值，并根据加权参数绝对值更新副本深层神经网络的加权参数。

在第五方面，本发明实施例提供了一种基于深层神经网络的声学模型训练系统，所述系统包括一个本发明任意实施例提供的主控主机，以及至少一个本发明任意实施例提供的运算主机。