[发明专利]超参数确定方法、装置、深度强化学习框架、介质及设备

说明书

本公开涉及一种超参数确定方法、装置、深度强化学习框架、介质及设备，所述方法包括：获取在目标模型的目标超参数组合对应的采样取值组合下，与所述采样取值组合对应的采样样本；根据所述采样样本生成所述目标超参数组合对应的交互样本，所述交互样本中包含所述采样取值组合和所述目标模型对应的优化特征参数；根据所述交互样本，对所述目标超参数组合对应的状态价值进行更新；根据更新后的所述目标超参数组合对应的状态价值，从所述多个取值空间中确定目标空间；根据所述目标空间确定所述目标超参数组合对应的目标取值组合。由此，可以对模型的多个具有关联关系的超参数的取值进行准确设置。

技术领域

本公开涉及计算机领域，具体地，涉及一种超参数确定方法、装置、深度强化学习框架、介质及设备。

背景技术

随机计算机技术的发展，各类大型模型、复杂的机器学习模型逐渐开始应用。在模型中需要通过大量的参数进行计算，从而使得该模型可以满足用户的需求。在模型中的部分参数可以通过模型的训练进行优化，例如神经网络模型中的权重，而部分参数不能够通过模型的训练进行优化，这类参数为模型的超参数，例如神经网络中的隐藏层的数量。超参数用于对模型的训练过程进行调节，通常是工作人员基于经验人为设置的，超参数并不直接参与到模型的训练过程，不会在模型的训练过程中进行更新。而超参数的设置对模型训练的迭代次数、收敛效率等具有较大影响。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种超参数确定方法，所述方法包括：

获取在目标模型的目标超参数组合对应的采样取值组合下，与所述采样取值组合对应的采样样本，其中，所述目标超参数组合中包含多个具有关联关系的目标超参数，所述采样取值组合中包含每一所述目标超参数对应的采样取值；

根据所述采样样本生成所述目标超参数组合对应的交互样本，所述交互样本中包含所述采样取值组合和所述目标模型对应的优化特征参数；

根据所述交互样本，对所述目标超参数组合对应的状态价值进行更新，其中，所述目标超参数与所述目标超参数组合对应的目标超空间中的维度一一对应，每一所述目标超参数的参数空间在该目标超参数对应的维度下被离散化为多个取值区间，以使得所述目标超空间被离散化为多个取值空间；

根据更新后的所述目标超参数组合对应的状态价值，从所述多个取值空间中确定目标空间；

根据所述目标空间确定所述目标超参数组合对应的目标取值组合。

第二方面，本公开提供一种超参数确定装置，所述装置包括：

获取模块，用于获取在目标模型的目标超参数组合对应的采样取值组合下，与所述采样取值组合对应的采样样本，其中，所述目标超参数组合中包含多个具有关联关系的目标超参数，所述采样取值组合中包含每一所述目标超参数对应的采样取值；

生成模块，用于根据所述采样样本生成所述目标超参数组合对应的交互样本，所述交互样本中包含所述采样取值组合和所述目标模型对应的优化特征参数；

更新模块，用于根据所述交互样本，对所述目标超参数组合对应的状态价值进行更新，其中，所述目标超参数与所述目标超参数组合对应的目标超空间中的维度一一对应，每一所述目标超参数的参数空间在该目标超参数对应的维度下被离散化为多个取值区间，以使得所述目标超空间被离散化为多个取值空间；

第一确定模块，用于根据更新后的所述目标超参数组合对应的状态价值，从所述多个取值空间中确定目标空间；

第二确定模块，用于根据所述目标空间确定所述目标超参数组合对应的目标取值组合。