[发明专利]超参数优化过程中的资源调度方法、装置、设备及介质

说明书

本发明提供了一种超参数优化过程中的资源调度方法、装置、设备及介质。融合了多个超参数调优策略，每个超参数调优策略用于基于自身所对应的超参数选择策略为机器学习模型选择超参数组合，每一轮迭代过程包括：确定当前可用的资源；为多个超参数调优策略分配当前可用的资源；获取分配到资源的各超参数调优策略分别基于所分配到的资源生成的一个或多个超参数组合。由此，本发明这种融合多个超参数调优策略的资源调度方案可以消除使用单一策略造成的效果不佳或收敛到局部最优的风险，并且通过为多个超参数调优策略分配资源，可以进一步提升超参数优化效果。

技术领域

本发明总体说来涉及机器学习领域，更具体地讲，涉及一种机器学习模型超参数优化过程中的资源调度方法和资源调度装置，以及一种计算设备及一种非暂时性机器可读存储介质。

背景技术

在训练机器学习模型前，需要确定机器学习模型的超参数。超参数可以视为机器学习模型的框架参数，是从更高的一个层次对机器学习模型进行描述的参数。例如，超参数可以是描述机器学习模型的学习速率、节点的dropout(丢弃)率、batch size(批尺寸)等多种参数。

目前机器学习模型超参数优化方案大多是基于单一策略实现的。这些策略主要可以分为如下两大类：1、以随机搜索(random search)、网格搜索(grid search)、进化算法(Evolutionary Algorithm)为代表的非模型导向搜索策略；2、模型导向策略，这类策略主要是通过训练一个机器学习模型来拟合超参数和模型效果的关系，并根据模型的预测来调优超参数。

非模型导向搜索策略的优点是当采样的超参数足够多时，可以找到效果较好的超参数，缺点是在超参数空间维度很高的情况下，这种无导向的搜索策略找到较好超参数的效率很低。模型导向策略在拟合效果较好时通常会比非模型导向策略更高效地搜索到优质的超参数，然而对于任意的超参数调优问题，无法保证这种拟合都是有效的。实验中发现，在很多场景下，模型导向策略不一定会比非模型导向策略高效，甚至会收敛到次优解。

进一步地，机器学习模型超参数优化过程中能够使用的资源(如CPU核数等计算力资源)一般是有限的。在有限的资源下，如何提升机器学习模型超参数的优化效果，是目前亟需解决的问题。

发明内容

本发明的示例性实施例在于提供一种机器学习模型超参数优化过程中的资源调度方法及装置，以解决现有技术存在的上述问题。

根据本发明的第一个方面，提出了一种机器学习模型超参数优化过程中的资源调度方法，其中，该方法融合了多个超参数调优策略，每个超参数调优策略用于基于自身所对应的超参数选择策略为机器学习模型选择超参数组合，该方法的每一轮迭代过程包括：确定当前可用的资源；为多个超参数调优策略分配当前可用的资源；获取分配到资源的各超参数调优策略分别基于所分配到的资源生成的一个或多个超参数组合。

可选地，多个超参数调优策略包括：一个或多个非模型导向搜索策略，非模型导向搜索策略用于基于预定的搜索方式从超参数搜索空间内选择超参数组合；和/或一个或多个模型导向策略，模型导向策略用于基于预测模型选择超参数组合，其中，预测模型是基于迭代过程中生成的至少部分超参数组合进行训练得到的。

可选地，为多个超参数调优策略分配当前可用的资源包括：将当前可用的资源平均分配给多个超参数调优策略；或者，将当前可用的资源按照预设的比例分配给多个超参数调优策略。

可选地，为多个超参数调优策略分配当前可用的资源包括：分别对多个超参数调优策略进行评分；根据评分结果为多个超参数调优策略分配当前可用的资源。

可选地，当多个超参数调优策略包括一个或多个模型导向策略时，在每一轮迭代过程中，该方法还包括：获取在该轮迭代过程中生成的一个或多个超参数组合分别对应的评价指标，将一个或多个超参数组合及其评价指标加入到机器学习模型的超参数组合样本集。