[发明专利]一种基于主动降维的高维贝叶斯优化方法

说明书

本发明公开了一种基于主动降维的高维贝叶斯优化方法，通过基于最大值熵搜索改进的采集函数最大化目标函数的熵信息，利用皮尔森相关性系数的绝对值|r(i，j|D_t)|来衡量两个维度x_i和x_j之间的相关关系的相关程度；利用x_i查询目标函数f得到相应的待优化目标函数；利用历史查询x和y的集合，通过高斯过程回归替代模型M，并输出替代模型的全局最优值的位置；输出最终的目标函数全局最优值的位置和对应的最优值。与现有技术相比，与现有的熵搜索方法相比，本发明在收敛后可实现更高的查询效率以及最佳结果。

技术领域

本发明属于机器学习中的贝叶斯优化领域，特别是涉及一种高维贝叶斯优化方法。

背景技术

在目前流行的机器学习任务中，调参是一项繁琐但至关重要的任务，因为它很大程度上影响了算法的性能。手动调参十分耗时，网格和随机搜索不需要人力，但需要很长的运行时间。因此，诞生了许多自动调整超参数的方法。贝叶斯优化就是其中一种，贝叶斯优化通过基于目标函数的过去评估结果建立替代函数(概率模型)，来找到最小化目标函数的值。贝叶斯优化方法可以有效地逼近探索非线性或非凸黑盒目标函数的全局最优值，因此被广泛应用于各种科学和工程领域。贝叶斯优化方法包括两个主要步骤，目标函数建模和采集函数最大化。前者通常使用高斯过程实现，而各种贝叶斯优化方法之间的差异主要体现在采集函数上。作为一类有效的贝叶斯优化方法，最大值熵搜索在每次评估中最大化关于黑盒函数全局最优值的信息熵，并以此来近似估计黑盒函数的全局最优值，但是基于高维函数的最大值熵搜索方法的应用受到两个方面的限制。首先，估计高维空间中黑盒函数argmax的熵需要大量的时间来近似计算，这严重影响了评估效率。其次，许多高维问题中，大量维度对目标函数的影响很小，这些维度被称为低有效维度。当无法识别和压缩这些维度时，现有的最大值熵搜索方法需要进行大量冗余评估，消耗多余的时间和计算资源。贝叶斯方法与随机或网格搜索的不同之处在于，它在尝试下一组超参数时，会参考之前的评估结果，因此可以省去很多无用功。贝叶斯优化目前已经在推荐系统、机器人步态、强化学习、环境监测、传感器网络、自动机器学习、超参数训练、组合优化等众多领域展现出令人瞩目的发展前景。

熵搜索及其派生方法是一类优秀贝叶斯优化方法，它们通过计算目标函数最大值的位置的熵信息，实现了对目标函数的主动探索。然而，现有的熵搜索方法仍然无法有效解决高维优化问题。一方面，用于估计熵的计算随着维度的增加而呈指数增长，这限制了熵搜索对高维问题的适用性。另一方面，许多高维问题存在大量对目标函数影响很小的维度，但是目前没有有效的压缩机制来排除这些多余维度。

尽管有许多成功案例，但是贝叶斯优化目前仅限于解决中等维度的问题。为了推进现有技术发展，将贝叶斯优化缩放到高维参数空间是一个亟待解决的难题。

发明内容

为了解决本发明要解决贝叶斯优化方法在解决高维优化问题时花费计算资源多、计算时间长、难以收敛的问题，本发明提出了一种基于主动降维的高维贝叶斯优化方法，通过寻找各维度之间的相关性来压缩低有效维度，提高最大值熵搜索方法在面对高维问题的效率，解决高维优化问题时花费计算资源多、计算时间长、难以收敛的问题。针对高维优化问题具有的计算昂贵，收敛缓慢，精度不够等难点所提出的高维贝叶斯优化领域。

本发明的一种基于主动降维的高维贝叶斯优化方法，该方法具体包括如下步骤：

步骤1、设待优化目标函数为：

y＝f(x)，x∈R^D

y表示目标函数的输出，x表示目标函数的输入，f表示目标函数。R^D表示D维的实数空间；

初始化程序参数集合θ、第一个随机点x₁＝random x以及针对各个维度初始化汤普森采样所需的beta分布；