[发明专利]一种深度学习中超参数的优化选取方法

说明书

本发明公开了一种深度学习中超参数的优化选取方法，其步骤为：定义n个待训练模型；定义函数eval以当前变化的模型参数θ的值来评估模型的优劣，随机选取数个θ的值,计算得出相应的eval(θ)；计算这些点中每一个点的均值和方差，再预估可能的使eval(θ|h)最大的θ取值；得到下一采样点后，计算eval(θ|h)；如果此时的step数满足预设条件则进入下一步骤，否则回到循环；计算当前所有并行计算模型的eval(θ|h)，并将其从大到小排序，定义优质及劣质；对每一个劣质模型进行淘汰操作；对每一个完成淘汰操作的劣质模型，立即进行进化操作；步骤完成后，回到循环。本发明在加快参数优化耗时的同时，可以有效减少资源消耗，并且可应对多超参数的情况。

技术领域

本发明涉及一种优化选取方法，尤其涉及一种深度学习中超参数的优化选 取方法。

背景技术

深度学习是机器学习中一种基于对数据进行表征学习的方法，主要表现为 建立模型，并利用数据进行学习。超参数是在开始学习过程之前设置值的模型 参数，而不是通过训练得到的参数数据。超参数存在选取困难、没有规律性的 特点，而且不同超参数之间存在无法预知的影响。超参数的选取直接影响机器 学习过程所耗费的时间以及学习成果的好坏，网格搜索、随机搜索、贝叶斯优 化都是常用的超参数选取策略。

对于网格搜索策略，虽然所消耗的时间较短，但是需要大量的并行计算， 占用庞大的计算资源，并且浪费大量的计算力在不太可能得出最优结果的训练 上；对于随机搜索策略，其占用的资源最少，但是需要消耗大量的时间，在处 理复杂模型时甚至需要数天甚至数周的时间；对于贝叶斯优化策略，每一次计 算都需要完成一次模型的训练过程，即每一步运算都需要占用大量的时间和资 源，而即使是简单的模型训练，贝叶斯优化也需要相当多的步数用于寻找最优 模型。此外，上述方法在处理具有多个超参数的模型时，因无法考虑到各种超 参数之间的交互作用，所以很可能无法找到最优的模型参数。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种深度学习中超参 数的优化选取方法。

为了解决以上技术问题，本发明采用的技术方案是：一种深度学习中超参 数的优化选取方法，其整体步骤为：

步骤1、定义n个待训练模型；每个训练模型设置为一种超参数h的配置组 合，利用并行计算，同时进行模型训练；

步骤2、将模型训练过程中变化的模型参数记为θ；定义函数eval以当前θ 的值来评估模型的优劣，eval(θ)越大表示模型越好，则模型学习的过程理解 为求eval(θ|h)的最大值；

对每个并行计算的模型，随机选取数个θ的值θ₁、θ₂...θ_m,计算得出相应的 eval(θ₁|h)，eval(θ₂|h)...eval(θ_m|h)；其中(θ₁，eval(_θ1|h)) (θ₂，eval(θ₂|h))(θ_m，eval(θ_m|h))构成的点称为先验点；假设这些点服从 多变量高斯分布；

步骤3、根据多变量高斯分布的性质，计算这些点中每一个点的均值和方 差，再通过最大化收获函数来预估可能的使eval(θ|h)最大的θ取值；

步骤4、得到下一采样点θ_t后，计算eval(θ|h)；若此时eval(θ|h)满足精度 要求则结束所有的模型训练，输出此时的eval(θ|h)、θ、h；步骤3～4为一个循 环，每进行一次循环称为该模型训练了一步，将训练步数记为step；

步骤5、如果此时的step数满足预设条件则进入步骤6，否则回到循环进行 步骤3；若此时的step达到预设的上限，则直接结束所有训练，输出所有模型 eval(θ|h)中最大的θ、h；