[发明专利]一种基于代理模型的深度学习算法超参数优化方法

说明书

本发明公开了一种基于代理模型的深度学习算法超参数优化方法，包括以下步骤：S1、定义两个超球体S和B，其中B对应于深度神经网络的超参数定义空间，S对应于可信域TR，在两个超球体S和B之间为不可信区域，定义为UTR＝B‑S；S2、利用连续减半风格方法在B中搜索，以当前搜索到的最优的超参数配置λ^*为中心构建一个可信域TR；S3、在可信域TR中执行基于模型的优化方法，启动搜索策略1直到满足条件1，然后进入步骤S4；S4、利用连续减半风格算法在UTR中搜索，启动策略2直到满足条件2，然后停止迭代。本发明在减少昂贵的黑箱函数评估数量的同时能够找到更好的超参数配置。

技术领域

本发明涉及深度学习的技术领域，尤其涉及到一种基于代理模型的深度学习算法超参数优化方法。

背景技术

近年来，深度学习已广泛应用于图像识别、语音识别、自然语言处理等各个领域。深度学习算法的优化结果表现是否良好，除了受深度学习模型本身的参数影响外，还受到超参数配置的影响，如网络隐藏层数量、隐藏层神经元数量以及学习率、动量因子等。为了得到最好的优化结果，搜索一组最佳的超参数配置非常有必要。超参数的搜索实际上就是从一个计算代价极高的黑盒函数中找到全局最优的超参数配置，其描述如下式所示：

Λ：超参数空间，

λ：表示该空间中的一组超参数，

X^train表示训练神经网络模型的训练样本，

A表示神经网络算法，

X^vand表示验证集样本，

ζ：神经网络模型反馈的验证误差，

λ^*：使ζ最小的超参数配置。

由于神经网络模型的计算代价极高，搜索一组最佳的超参数并不容易，当超参数的数量很多时，超参数搜索空间会非常大，极大增加了搜索超参数的难度。目前常用的超参数优化方法有以下3种：

(1)网格搜索

将每个超参数的搜索空间划分成网格，并组成不同的超参数配置。按顺序评估每组超参数配置的黑箱函数值，也就是在验证集上的损失。根据评估结果选择最优的超参数配置。

(2)随机搜索

在超参数空间中随机采样，计算每一组采样到的超参数配置在验证集上的损失，根据计算结果选择一组最优的超参数配置。

(3)基于模型的方法

其基本思想是先选定若干组超参数配置，结合神经网络模型在这些超参数下的验证损失，建立逼近黑箱函数的代理模型。基于模型，从很多随机产生的配置中挑选出一组“当前最优”的超参数配置，并计算其黑箱函数值。将挑选出的超参数配置加入到之前的若干组超参数配置中，并更新代理模型。迭代挑选和更新的过程。当满足终止条件，输出最优的超参数配置。

使用随机搜索的方法，对超参数空间的搜索往往不够彻底，带有很大的随机性，难以找到最优的超参数配置；使用网格搜索的方法，虽然对超参数空间的搜索比随机搜索更为彻底，但是计算代价难以解释。很多使用基于模型的方法，如贝叶斯优化方法(TPE、GP-EI)、模式追踪采样方法(MPS)等在保证计算代价可以接受的情况下，也能找到较好的超参数配置，但是依然有很大的提升空间。