[发明专利]一种基于人工智能的深度学习网络训练方法

权利要求书

1.一种基于人工智能的深度学习网络训练方法，其特征在于，包括以下步骤:

S101、构建神经网络；

S102、将所述神经网络的参数初始化；

S103、将获取的原始数据分为验证集和多个训练集，将所述神经网络分别在多个所述训练集上训练以得到多个子神经网络模型；

S104、每轮训练结束后，分别在所述验证集上对多个所述子神经网络模型进行验证；

S105、依据验证结果的精确度由高到低选取固定比例的子神经网络模型，依据验证结果对被选出的子神经网络模型的参数进行调整后，令被选出的子神经网络模型继续在各自的训练集上进行训练；

S106、重复上述S104-S105的步骤，直至所述子神经网络模型收敛，输出所述子神经网络模型；

S107、选取最优的子神经网络模型，得到的最优参数值，保留最优参数值，训练结束。

2.根据权利要求1所述的基于人工智能的深度学习网络训练方法，其特征在于，所述构建神经网络包括：

建立神经网络的输入层、隐藏层和输出层；

确定神经网络的激活函数。

3.根据权利要求2所述的基于人工智能的深度学习网络训练方法，其特征在于，所述激活函数包括sigmoid函数、tanh函数、ReLU函数或ELU函数。

4.根据权利要求1所述的基于人工智能的深度学习网络训练方法，其特征在于，所述参数初始化的方式包括：He初始化、随机初始化和pre-train初始化。

5.根据权利要求1所述的基于人工智能的深度学习网络训练方法，其特征在于，所述训练集包括问题项及与所述问题项相对应的答案项；在步骤S103中，所述神经网络在所述训练集上训练的过程为：

将所述训练集的数据输入所述神经网络，所述神经网络通过正向传播计算得到输出值；

依据所述输出值与所述答案项计算得到损失函数；

依据所述损失函数通过反向传播对所述神经网络的各网络层的参数值进行更新以得到新的神经网络。

6.根据权利要求1所述的基于人工智能的深度学习网络训练方法，其特征在于，在步骤S105中，按固定比例选取出的子神经网络模型的数量不低于初始子神经网络模型数量的预设比例阈值。

7.根据权利要求1所述的基于人工智能的深度学习网络训练方法，其特征在于，在步骤S105中，所述依据验证结果对被选出的子神经网络模型的参数进行调整之前，还包括：依据所述验证结果判断所述子神经网络模型为过拟合还是欠拟合。

8.一种基于人工智能的深度学习网络训练系统，其特征在于，包括：

创建模块：用于构建神经网络；

初始化模块：用于神经网络参数初始化

训练模块：用于将获取的原始数据分为验证集和多个训练集，将所述神经网络分别在多个所述训练集上训练以得到多个子神经网络模型；

验证模块：用于每轮训练结束后，分别在所述验证集上对多个所述子神经网络模型进行验证；

优化选择模块：用于依据验证结果的准确率由高到低选取固定比例的子神经网络模型，依据验证结果对被选出的子神经网络模型的参数进行调整后，令被选出的子神经网络模型继续在各自的训练集上进行训练；

判断执行模块：用于判断所述子神经网络模型是否收敛；若是，则输出子神经网络模型；若否，则重复所述验证模块及所述优化选择模块所执行的步骤；

最优选取模块：用于选取最优的子神经网络模型，得到的最优参数值，保留最优参数值。

9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器和数据总线；

其中，所述处理器与所述存储器通过所述数据总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求1至7任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使计算机执行如权利要求1至7任一所述的方法。