[发明专利]一种深度学习中超参数的优化选取方法

权利要求书

1.一种深度学习中超参数的优化选取方法，其特征在于：所述方法的整体步骤为：

步骤1、定义n个待训练模型；每个训练模型设置为一种超参数h的配置组合，利用并行计算，同时进行模型训练；

步骤2、将模型训练过程中变化的模型参数记为θ；定义函数eval以当前θ的值来评估模型的优劣，eval(θ)越大表示模型越好，则模型学习的过程理解为求eval(θ|h)的最大值；

对每个并行计算的模型，随机选取数个θ的值θ₁、θ₂...θ_m,计算得出相应的eval(θ₁|h)，eval(θ₂|h)...eval(θ_m|h)；其中(θ₁，eval(θ₁|h))(θ₂，eval(θ₂|h))(θ_m，eval(θ_m|h))构成的点称为先验点；假设这些点服从多变量高斯分布；

步骤3、根据多变量高斯分布的性质，计算这些点中每一个点的均值和方差，再通过最大化收获函数来预估可能的使eval(θ|h)最大的θ取值；

步骤4、得到下一采样点θ_t后，计算eval(θ|h)；若此时eval(θ|h)满足精度要求则结束所有的模型训练，输出此时的eval(θ|h)、θ、h；步骤3～4为一个循环，每进行一次循环称为该模型训练了一步，将训练步数记为step；

步骤5、如果此时的step数满足预设条件则进入步骤6，否则回到循环进行步骤3；若此时的step达到预设的上限，则直接结束所有训练，输出所有模型eval(θ|h)中最大的θ、h；

步骤6、计算当前所有并行计算模型的eval(θ|h)，并将其从大到小排序，选取前30％定义为优质，后30％定义为劣质；此处30％为经验参数，可根据实际情况做出调整；

步骤7、对每一个劣质模型进行淘汰操作；

步骤8、对每一个完成淘汰操作的劣质模型，立即进行进化操作；

步骤9、完成步骤6～步骤8后，回到步骤3，进行下一个循环。

2.根据权利要求1所述的深度学习中超参数的优化选取方法，其特征在于：所述步骤3中选用的最大化收获函数为：

式中为权重系数。

3.根据权利要求2所述的深度学习中超参数的优化选取方法，其特征在于：所述步骤4中的预设条件为：step是某个整数的倍数，根据训练模型的实际情况通常取4～10。

4.根据权利要求3所述的深度学习中超参数的优化选取方法，其特征在于：所述步骤7中淘汰操作的具体过程为：随机选取一个优质模型，复制其当前的θ以及预设的h参数，完成后，该劣质模型完全等同于复制的优质模型。

5.根据权利要求4所述的深度学习中超参数的优化选取方法，其特征在于：所述步骤8中进化操作的具体过程为：对θ和h施加微小的扰动，增加或减小一个比较小的数，通常是当前值的-10％～10％之间。