[发明专利]一种基于贝叶斯优化的深度学习超参数的调优改进方法

权利要求书

1.一种基于贝叶斯优化的深度学习超参数的调优改进方法，其特征在于：所述方法的整体步骤为：

步骤1、采用快速最优拉丁方实验设计算法生成初始点集X＝x₁...x_t；

步骤2、采用并行计算在计算机中获取上述初始点集的响应Y＝y₁…y_t，同时计算多个点x₁...x_t在目标函数上的响应y₁…y_t，构建数据集D＝{(x₁，y₁)...(x_t，y_t)}；

步骤3、进入贝叶斯优化迭代过程：

a、用数据集D中所有数据，构建高斯过程模型；

b、使用获取函数u(x)获取下一个评估点x_i，i的取值为1～t，x_i＝argmax u(x|D)，计算响应y_i＝f(x_i)；

c、增加新数据点到集合D，D←D∪{x_i，y_i}，i←i+1。

2.根据权利要求1所述的基于贝叶斯优化的深度学习超参数的调优改进方法，其特征在于：所述步骤1中快速最优拉丁方实验设计算法具体步骤：

a、给定n_p、n_v、n_s，并设定采样区间；其中，n_p为人为设定的拉丁超立方实验设计生成的初始点数目，n_v为变量的维度数目，n_s是快速最优拉丁方实验设计算法提出的参数，通常设定为1；

b、计算理论区间分割数n_d，其中，当n_d为非整数时向上取整得到实际区间分割数

c、计算中间量n_b，

d、计算实际生成初始点数目当时，实际生成的初始点数目大于设定的初始点数目n_p；

e、使用平移传播算法填充拉丁超立方实验设计空间。

3.根据权利要求2所述的基于贝叶斯优化的深度学习超参数的调优改进方法，其特征在于：使用平移传播算法填充拉丁超立方实验设计空间的具体方法为：

①取n_s＝1，将设计空间原点设定为第一个初始点，即各维变量的最小值；

②将初始点向n_v-1个维度分别平移各维度尺度大小的并在余下的一个维度平移该维度尺度大小的得到第二个初始点；

③按步骤②对上一次平移得到的初始点进行平移，得到下一个点，重复本步骤，直到设计空间该方向上设计点数为

④将步骤③得到的第一组数据进行平移，平移方式为：在步骤②中的n_v-1个维度分别平移各维度尺度大小的并在余下的一个维度平移该维度尺度大小的得到第二组初始点；

⑤按步骤④中方式，对得到的上一组初始点进行平移，重复本步骤，直到填充满n_v-1维的设计空间为止；

⑥当实际生成的初始点数目大于设定的初始点数目n_p时，跳转到步骤⑦，否则返回使用快速最优拉丁超立方实验设计算法生成的初始点集X；

⑦根据距离公式d_ij＝|x_i-x_j|，求各初始点x_i到设计空间中心x_j的距离；舍弃与中心点距离最远的个点，舍弃点的时候需要遵循每个水平上只能舍弃一个点的规则，返回剩余点集X。

4.根据权利要求1所述的基于贝叶斯优化的深度学习超参数的调优改进方法，其特征在于：所述步骤3a中，高斯过程模型使用的高斯核函数公式如下：

其中，θ₀为协方差幅度，θ_d为为尺度因子,r²(x，x′)表示欧拉距离的平方，x_d表示点x的第d维分量；x′_d表示表示点x′的第d维分量。

5.根据权利要求1所述的基于贝叶斯优化的深度学习超参数的调优改进方法，其特征在于：所述步骤3b中，获取函数为熵搜索函数，即：

其中，均值函数μ_t(x)＝k_t(x)^T(K_t+σ²I)^-1y_t；

协方差函数k_t(x，x′)＝k(x，x′)-k_t(x)^T(K_t+σ²I)^-1k_t(x′)；

核矩阵为方差σ²＝k(x，x′)；是概率密度函数，Ψ(x)是累计密度函数。