[发明专利]神经网络模型的训练和应用方法、装置、系统及存储介质

权利要求书

1.一种多层神经网络模型的训练方法，其特征在于，所述训练方法包括：

确定第一网络模型和第二网络模型，所述第一网络模型提供用于对所述第二网络模型进行训练的信息；

为第一网络模型中的至少一层设置降尺度层，其中，所述降尺度层的滤波器数量和滤波器核与第二网络模型中待训练的层的滤波器数量和滤波器核相同；

将所述降尺度层的滤波器参数作为训练信息发送给所述第二网络模型。

2.根据权利要求1所述的训练方法，其特征在于，所述训练方法还包括：

对所述第一网络模型中的层进行分组，每组内包括至少一层，且每组与第二网络模型中的一个待训练的层相对应；

所述为第一网络模型中的至少一层设置降尺度层，具体包括：

为第一网络模型中的各组分别设置降尺度层，其中，为组设置的降尺度层的滤波器数量和滤波器核与该组对应的待训练的层的滤波器数量和滤波器核相同。

3.根据权利要求2所述的训练方法，其特征在于，所述训练方法还包括：

利用作为训练信息的各降尺度层的滤波器参数、第一网络模型的输出结果和第二网络模型的输出结果，对所述第二网络模型的各待训练的层进行训练。

4.根据权利要求2所述的训练方法，其特征在于，其中，所述降尺度层依次包括基元层和恒等映射层，所述基元层的滤波器数量和滤波器核与对应的待训练的层的滤波器数量和滤波器核相同，所述恒等映射层的输出特征图大小与组内最后一层的输出特征图大小相同。

5.根据权利要求4所述的训练方法，其特征在于，其中，基元层的输出特征图与恒等映射层的输出特征图中保存的信息的相似度高于阈值。

6.根据权利要求5所述的训练方法，其特征在于，所述训练方法还包括：

对基元层和恒等映射层进行训练，使得在组中第一层的输入特征图与基元层的输入特征图相同时，组中最后一层的输出特征图与恒等映射层的输出特征图之间的残差小于设定值。

7.根据权利要求6所述的训练方法，其特征在于，其中，采用联合方式或交替方式执行对所述基元层和所述恒等映射层的训练以及对所述第二网络模型的训练。

8.根据权利要求2所述的训练方法，其特征在于，其中，所述组内包括与对应的待训练的层相同类型的层。

9.根据权利要求2所述的训练方法，其特征在于，其中，所述组内包括标准化层。

10.根据权利要求2所述的训练方法，其特征在于，其中，根据所述第一网络模型的深度来确定组中包含的层数。

11.根据权利要求4所述的训练方法，其特征在于，其中，组中最后一层和恒等映射层的具有相同的输出精度，基元层和组对应的待训练的层具有相同的输出精度。

12.根据权利要求11所述的训练方法，其特征在于，其中，输出精度的为32比特、8比特、2比特或1比特。

13.一种多层神经网络模型的训练系统，其特征在于，所述训练系统包括：

服务器，其存储至少一个第一网络模型，所述第一网络模型提供用于对第二网络模型进行训练的信息，所述服务器用于为所述第一网络模型中的至少一层设置降尺度层，并将所述降尺度层的滤波器参数作为训练信息并输出，其中，所述降尺度层的滤波器数量和滤波器核与第二网络模型中的待训练的层的滤波器数量和滤波器核相同；

终端，其存储所述第二网络模型，所述终端用于利用服务器输出的训练信息对所述第二网络模型中的待训练的层进行训练。