[发明专利]一种搜索方法、装置及设备

说明书

本申请公开了一种搜索方法、装置及设备，包括：利用循环神经网络在第一预设时长内搜索机器学习模型的算法结构，得到多个不同的算法结构；利用多个超参数搜索模型在第二预设时长内并行搜索多个不同的算法结构对应的超参数以及评价指标；根据各个算法结构对应的评价指标，从搜索得到的多个算法结构以及该算法结构对应的超参数中，确定出目标算法结构以及该目标算法结构对应的超参数。可见，通过对算法结构以及超参数进行分开搜索，在时间上实现对特征处理过程的二级控制，从而可以避免长时间无法搜索出较优的算法结构以及超参数的情况；而且，利用多个超参数搜索模型进行并行搜索，可以有效提高搜索效率。

技术领域

本申请涉及自动化机器学习技术领域，特别是涉及一种搜索的方法、装置及设备。

背景技术

在典型的自动化机器学习流程中，通常可以包括：数据预处理，例如可以是数据清洗、数据归一化处理以及数据均衡等预处理过程；特征处理，也即为搭建机器学习模型的网络结构，包括确定网络结构中每个节点的算法以及该算法所对应的算法超参数；分类或者回归处理，即利用训练数据集对搭建的机器学习模型进行训练等。其中，特征处理过程中所搭建的机器学习模型的网络结构，通常直接决定着最终所得到的机器学习模型效果。

该机器学习模型的网络结构，具体可以包括算法结构(即网络结构中各个节点所采用的特征处理算法)以及每个特征处理算法对应的超参数。因此，在构建机器学习模型的过程中，通常需要预先搜索出较优的算法结构以及在该算法结构下每个特征处理算法较优的超参数，以提高机器学习的性能和效果。具体的，在搭建机器学习模型的网络结构的过程中，先搜索算法结构中的当前节点采用何种特征处理算法，并进一步搜索出该节点所采用特征处理算法较优的超参数，然后再对该算法结构的下一个节点进行算法搜索以及算法的超参数搜索，重复该过程直至最终搜索出较优的算法结构以及该算法结构下每个特征处理算法较优的超参数。

但是，搜索算法结构以及该算法结构下每个特征处理算法的超参数，所需执行的计算过程通常较为复杂，尤其是超参空间会成指数倍增长，从而可能导致长时间无法搜索出较优的算法结构以及相应的超参数。

发明内容

本申请实施例提供了一种搜索方法及装置，以限制自动化机器学习过程中对于算法结构以及相应超参数的搜索时长，提高搜索效率。

第一方面，本申请实施例提供了一种搜索方法，所述方法包括：

利用循环神经网络在第一预设时长内搜索机器学习模型的算法结构，得到多个不同的算法结构，所述多个不同的算法结构具有相同数量的节点，每个算法结构中的中间节点为算法集合中的特征处理算法，所述算法集合包括至少一种特征处理算法；

利用多个超参数搜索模型在第二预设时长内并行搜索所述多个不同的算法结构对应的超参数以及评价指标，所述算法结构对应的超参数包括所述算法结构中每个中间节点的超参数，每个算法结构对应的超参数以及评价指标由与所述算法结构对应的超参数搜索模型输出；

根据各个算法结构对应的评价指标，从所述多个算法结构以及每个算法结构对应的超参数中，确定出目标算法结构以及所述目标算法结构对应的超参数。

在一种可能的实施方式中，所述算法结构至少包括第一算法结构以及第二算法结构，所述第一算法结构与所述第二算法结构中包含相同的目标特征处理算法，所述方法还包括：

获取所述第一算法结构中目标特征处理算法的目标超参数；

当利用所述超参数搜索模型搜索所述第二算法结构对应的超参数时，将所述目标超参数确定为所述第二算法结构中所述目标特征处理算法的初始化超参数，所述超参数搜索模型基于所述初始化超参数搜索所述第二算法结构中的目标特征处理算法的超参数。

在一种可能的实施方式中，所述利用多个超参数搜索模型并行搜索所述多个不同的算法结构对应的超参数，包括：