[发明专利]深层神经网络的辨别预训练

权利要求书

1.一种用于预训练深层神经网络DNN的计算机实施的处理，包括:

利用计算机来执行下面的处理动作:

（a）训练单隐层神经网络NN，所述单隐层神经网络包括：输入层，训练数据被输入到所述输入层中；输出层，从所述输出层生成输出；以及第一隐层，所述第一隐层以随机初始化的权重与所述输入层和所述输出层相互连接，其中所述训练包括：

访问训练数据条目集，所述训练数据条目集中的每个数据条目具有分配到其上的对应标签（200），

将所述集中的每个数据条目一个接一个地输入到所述输入层中，直到全部所述数据条目已经被输入了至少一次以产生初始的NN（202），从而在每个数据条目的所述输入之后，经由误差反向传播过程设置与所述第一隐层关联的所述权重，以使得从所述输出层生成的所述输出匹配与所述训练数据条目关联的所述标签;

（b）丢弃当前输出层并且添加以随机初始化的权重与最近一个之前训练的隐层和新输出层相互连接的新的隐层，以产生新的多隐层深层神经网络（204）;

（c）将所述集中的每个数据条目一个接一个地输入到所述输入层，直到全部所述数据条目已经被输入了至少一次，以产生修正的多隐层深层神经网络（206），从而在每个数据条目的所述输入之后，经由所述误差反向传播过程设置与所述新的隐层和每个之前训练的隐层关联的所述权重，以产生与所述训练数据条目关联的所述标签匹配的来自所述新输出层的输出;

（d）重复动作（b）和（c），直到已经添加了规定数量的隐层（208）；以及

（e）将最近产生的修正的多层DNN指定为预训练的DNN（210）。

2.根据权利要求1所述的处理，其中被采用的每个输出层利用softmax函数来使其输出与当前进入的训练数据条目关联的所述标签匹配。

3.根据权利要求1所述的处理，其中所述访问训练数据条目集，所述训练数据条目集中的每个数据条目具有分配到其上的对应标签的处理动作包括访问语音帧集，所述语音帧集中的每个语音帧对应于语音单元标签。

4.根据权利要求1所述的处理，其中所述将所述集中的每个数据条目一个接一个地输入到所述输入层中，直到全部所述数据条目已经被输入了至少一次以产生初始的深层神经网络的处理动作包括将所述集的每个数据条目仅输入一次。

5.根据权利要求1所述的处理，其中所述将所述集中的每个数据条目一个接一个地输入到所述输入层，直到全部所述数据条目已经被输入了至少一次，以产生修正的多隐层深层神经网络的处理动作包括将所述集中的每个数据条目仅输入一次。

6.根据权利要求1所述的处理，其中用于设置与所述第一隐层关联的所述权重的所述误差反向传播过程采用范围在0.01和0.20之间的规定的学习速率。

7.根据权利要求1所述的处理，其中用于设置与每个新的隐层和每个之前训练的隐层关联的所述权重的所述误差反向传播过程采用范围在0.01和0.20之间的规定的学习速率。