[发明专利]一种基于异步贝叶斯优化的机器学习超参优化系统及方法

权利要求书

1.一种基于异步贝叶斯优化的机器学习超参优化系统，其特征在于：包括，贝叶斯优化模块、模型参数池模型、Kmeans聚类模块、任务调度模块、自适应确定模型并行度模块；

贝叶斯优化模块，实现贝叶斯优化算法，产生候选参数点；接收到模型参数池模块或者Kmeans聚类模块的信号后，访问模型参数池中模型参数点及对应模型评价指标，更新贝叶斯优化；提供get接口供模型参数池模块直接调用；针对多模型同时收敛的场景，提供GetBatch接口供Kmeans聚类模块调用；GetBatch接口实现如下算法：随机的产生L个参数点，L>10000，计算L个参数点对应的EI值，即收益函数值，找到l个EI值最大的参数点，从每个参数点开始执行梯度下降算法，找到局部最优点；l>200andl<1000；

模型参数池模块，负责模型参数点的管理工作，具体的包括：获取模型超参数点、模型参数池中参数点替换、将模型参数池中的参数点提供给计算集群使用功能；模型参数池通过一个数组实现，将模型参数点抽象成参数点对象，提供Push和Pull接口供计算集群和模型参数池交互；模型参数池模块调用贝叶斯优化模块Get接口获取模型参数点，通过GetBatch接口从Kmeans聚类模块获取多组互异参数点；模型参数池模块中的参数点被计算集群Pull，接收计算集群Push的模型评价指标；

Kmeans聚类模块，通过Kmeans聚类产生多个互异的参数点；被模型参数池模块调用，接收产生k个互异参数点的信号；调用贝叶斯优化模块产生多个原始候选参数点；通过Kmeans聚类将候选参数点聚成k类，然后选择k类中收益函数值最大的参数点，从而产生k个互异的参数点，将结果返回给模型参数池模块；K大于k；

任务调度模块，判断模型参数池模块中的模型是否应该停止训练；具体包括：模型收敛性和Early Stopping算法；模型收敛性，计算模型精度是否达到提前设定的阈值，如果达到阈值，则收敛，否则，未收敛；Early Stopping算法实现为：首先计算历史已经训练模型对应当前迭代轮数的模型评价指标P的均值E(P)，如果当前模型评价指标p<E(P)*0.9，则停止训练，否则，继续训练；该任务调度模块和模型参数池模块进行交互，判断模型参数池模块中参数对应模型的状态，发送信号给模型参数池模块；

自适应的确定模型并行度模块，自适应的确定计算集群中模型的并行度；通过实验评估不同模型参数池大小对应的模型参数池的计算效率，获得最佳计算性能对应的模型参数池大小；该模块被模型参数池模块调用，用来初始化模型参数池大小。

2.一种基于异步贝叶斯优化的机器学习超参优化方法，其特征在于：包括以下步骤：

(1)执行自适应确定模型并行度模块，从而确定计算集群最佳模型并行度，将结果传递给模型参数池模块；

(2)模型参数池模块进行初始化工作，包括模型参数池大小；

(3)贝叶斯优化模块进行初始化工作，包括初始化贝叶斯优化超参数空间配置，贝叶斯优化迭代轮数；

(4)模型参数池模块调用Kmeans聚类模块，从而产生初始的n个参数点，填充到模型参数池模块中；

(5)计算集群对模型参数池模块中的参数对应模型进行一轮模型迭代，将模型评价指标发送到模型参数池模块；

(6)调度模块根据模型参数池模块中参数点及模型评价指标判断参数对应模型是否应该停止训练，如果应该停止，向模型参数池模块发送停止训练信号；

(7)模型参数池模块如果接收到调度模块的模型停止信号，则请求新的模型参数点，如果一个模型停止，则请求贝叶斯优化模块产生一个参数点；如果多个模型停止，则请求Kmeans聚类模块产生多个参数点；模型参数池模块中参数点被计算集群使用，开始一轮模型训练，重复上述过程直至达到贝叶斯优化停止阈值，即贝叶斯优化迭代轮数。