[发明专利]一种基于代理模型的深度学习算法超参数优化方法

权利要求书

1.一种基于代理模型的深度学习算法超参数优化方法，其特征在于，包括以下步骤：

S1、定义两个超球体S和B，其中B对应于深度神经网络的超参数定义空间，S对应于可信域TR，在两个超球体S和B之间为不可信区域，定义为UTR＝B-S；

S2、利用连续减半风格方法在B中搜索，以当前搜索到的最优的超参数配置λ^*为中心构建一个可信域TR；

S3、在可信域TR中执行基于模型的优化方法，启动搜索策略1直到满足条件1，然后进入步骤S4；

S4、利用连续减半风格算法在UTR中搜索，启动策略2直到满足条件2，然后停止迭代。

2.根据权利要求1所述的一种基于代理模型的深度学习算法超参数优化方法，其特征在于，所述策略2具体为：

如果在UTR中的搜索有改进，则以当前最优的超参数配置的位置为中心，重新构造一个新的可信域TR；在可信域TR中执行基于模型的优化方法，启动策略1直到满足条件1，然后进入步骤S4；否则，如果在UTR中的搜索没有改进，将可信域TR对应的超立方体S的半径减小为αR_s；启动策略1直到满足条件1，然后开始步骤S4；

所述条件2具体为：如果超立方体S的半径达到最小的设定半径R_s,min，其中R_s,min∈[0.01,0.1]，或者搜索已经达到最大的设定函数评估的次数。

3.根据权利要求1或2所述的一种基于代理模型的深度学习算法超参数优化方法，其特征在于，所述搜索策略1具体为：

如果基于模型优化的搜索过程中新的超参数配置使得神经网络的性能有改进，则可信域TR的中心移动到当前最佳的超参数配置所在位置；如果连续n次迭代都无法使得神经网络的性能改进，则将可信域TR对应的超立方体S的半径减小为αR_s，并在缩小后的可信域中搜索，其中α∈[0.5,1]；否则，继续在原来的可信域中搜索；

所述条件1具体为：超立方体S的半径连续减小m次，并且这个过程中基于模型优化的搜索没能使得神经网络的性能有改进。

4.根据权利要求3所述的一种基于代理模型的深度学习算法超参数优化方法，其特征在于，所述基于模型的优化方法为MPS优化方法。

5.根据权利要求1所述的一种基于代理模型的深度学习算法超参数优化方法，其特征在于，所述连续减半风格方法为Hyperband方法。