[发明专利]神经网络模型的训练方法和装置、存储介质和电子设备

权利要求书

1.一种神经网络模型的训练方法，包括：

确定神经网络模型中神经元的权重的初始值；

对所述神经网络模型中至少一个记忆单元层中神经元的权重的初始值进行调整；

对初始值调整后的神经网络模型进行训练。

2.根据权利要求1所述的方法，其中，所述确定所述神经网络模型中神经元的权重的初始值，包括：

采用常量初始化方式、高斯分布初始化方式、Xavier初始化方式和MSRA初始化方式中的任意一种方式，确定所述神经网络模型中神经元的权重的初始值。

3.根据权利要求1或2所述的方法，其中，还包括：

选取所述神经网络模型中部分或者全部记忆单元层作为所述至少一个记忆单元层。

4.根据权利要求3所述的方法，其中，所述选取所述神经网络模型中部分或者全部记忆单元层作为所述至少一个记忆单元层，包括：

选取所述神经网络模型中部分或者全部降维层旁挂的记忆单元层作为所述至少一个记忆单元层。

5.根据权利要求1至4任意一项所述的方法，其中，所述对所述神经网络模型中至少一个记忆单元层中神经元的权重的初始值进行调整，包括：

确定所述至少一个记忆单元中对应于当前时刻信息的神经元；

将所述对应于当前时刻的神经元的权重的初始值减小第一预设数值，所述第一预设数值为大于0的数值。

6.根据权利要求1至4任意一项所述的方法，其中，所述对所述神经网络模型中至少一个记忆单元层中神经元的权重的初始值进行调整，包括：

确定所述至少一个记忆单元中对应于当前时刻信息的神经元；

将所述对应于当前时刻的神经元的权重的初始值乘以第二预设数值，所述第二预设数值为大于或等于0、且小于1的数值。

7.一种神经网络模型的训练装置，包括：

初始化模块，用于确定神经网络模型中神经元的权重的初始值；

调整模块，用于对所述神经网络模型中至少一个记忆单元层中神经元的权重的初始值进行调整；

训练模块，用于对所述调整模块进行初始值调整后的神经网络模型进行训练。

8.根据权利要求7所述的装置，其中，还包括：

选取模块，用于选取所述神经网络模型中部分或者全部记忆单元层作为所述至少一个记忆单元层。

9.根据权利要求7或8所述的装置，其中，所述调整模块包括：

确定单元，用于确定所述至少一个记忆单元中对应于当前时刻信息的神经元；

第一调整单元，用于将所述对应于当前时刻的神经元的权重的初始值减小第一预设数值，所述第一预设数值为大于0的数值。

10.根据权利要求7或8所述的装置，其中，所述调整模块包括：

确定单元，用于确定所述至少一个记忆单元中对应于当前时刻信息的神经元；

第二调整单元，用于将所述对应于当前时刻的神经元的权重的初始值乘以第二预设数值，所述第二预设数值为大于或等于0、且小于1的数值。

11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至6任意一项所述的方法。

12.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1至6任意一项所述的方法。