[发明专利]模型生成方法和装置

说明书

本公开涉及人工智能领域。本公开的实施例公开了模型生成方法和装置。该方法包括：通过依次执行多次迭代操作生成用于执行深度学习任务的神经网络模型；迭代操作包括：基于当前的反馈奖励值对预设的模型结构控制器进行更新，采用更新后的模型结构控制器生成多个待训练的神经网络；按照预设的分级训练方式，对待训练的神经网络进行至少两级训练；根据经过至少两级训练后的神经网络的性能更新奖励反馈值；响应于确定奖励反馈值达到预设的收敛条件或迭代操作的次数达到预设的阈值，确定当前迭代操作中经过至少两级训练后性能最优的神经网络为用于执行深度学习任务的神经网络模型。该方法提升了神经网络模型结构搜索的效率。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及人工智能技术领域，尤其涉及模型生成方法和装置。

背景技术

随着人工智能技术的发展，深度学习在很多应用领域都取得了良好的成果。深度学习中，神经网络的结构对模型的效果有非常重要的影响。实践中为了获得较高的性能，神经网络的结构复杂度较高，运行神经网络所需耗费的计算资源较多。而手工设计网络的结构需要非常丰富的经验和多次尝试，成本较高。

神经网络架构搜索技术(Neural Architecture Search，NAS)可以代替繁琐的人工操作，自动搜索出最佳的神经网络架构。然而，通常搜索空间较大，NAS需要花费很多时间来完成神经网络架构搜索，搜索效率有待提升。

发明内容

本公开的实施例提出了模型生成方法和装置、电子设备和计算机可读介质。

第一方面，本公开的实施例提供了一种模型生成方法，包括：通过依次执行多次迭代操作生成用于执行深度学习任务的神经网络模型；其中，迭代操作包括：基于当前的反馈奖励值对预设的模型结构控制器进行更新，采用更新后的模型结构控制器生成多个待训练的神经网络，反馈奖励值的初始值是预设的数值；按照预设的分级训练方式，对待训练的神经网络进行至少两级训练，其中，相邻的两级训练中后一级训练对前一级训练中性能达到预设的性能条件的部分待训练的神经网络进行训练，且同一待训练的神经网络在相邻的两级训练中的后一级训练的训练时间比前一级训练的训练时间长；根据经过至少两级训练后的神经网络的性能更新奖励反馈值；响应于确定奖励反馈值达到预设的收敛条件或迭代操作的次数达到预设的阈值，确定当前迭代操作中经过至少两级训练后性能最优的神经网络为用于执行深度学习任务的神经网络模型。

在一些实施例中，上述按照预设的分级训练方式，对待训练的神经网络进行至少两级训练，包括：将模型结构控制器生成的各待训练的神经网络作为第一级训练操作中的候选神经网络，执行至少两级训练操作，其中，训练操作包括：对当前级训练操作中的各候选神经网络进行迭代更新，响应于确定在执行若干次迭代更新后达到当前级训练操作的预设筛选节点，从当前级训练操作的候选神经网络中筛选出性能满足当前级训练操作对应的预设性能条件的候选神经网络作为下一级训练操作中的候选神经网络；以及上述根据经过至少两级训练后的神经网络的性能更新奖励反馈值，包括：根据执行至少两级训练操作后得到的候选神经网络的性能更新奖励反馈值。

在一些实施例中，上述当前级训练操作的预设筛选节点包括：当前级训练操作的累积训练时间达到相邻的前一级训练操作的累积训练时间的预设倍数。

在一些实施例中，上述当前级训练操作的预设筛选节点根据如下方式确定：对当前级训练操作中的待训练的神经网络进行采样，得到样本神经网络；确定随迭代训练次数增加，样本神经网络的性能参数的梯度；将样本神经网络的性能参数的梯度降低至预设的梯度阈值以下时所对应的迭代训练次数确定为当前级训练操作中的最大迭代训练次数。

在一些实施例中，上述对待训练的神经网络进行至少两级训练，包括：采用模型蒸馏法，对待训练的神经网络进行至少两级训练。