[发明专利]神经网络结构的采样方法和装置

说明书

本公开涉及人工智能领域。本公开的实施例公开了神经网络结构的采样方法和装置。该方法包括：对表征神经网络模型的性能随神经网络模型的结构的概率分布的目标函数进行参数初始化；执行多次迭代操作；迭代操作包括：采样出未被采样过的神经网络结构作为当前迭代操作中的候选模型结构；计算上一次迭代操作中确定出的目标网络结构集合中添加当前迭代操作中的候选模型结构后的信息熵增益；确定出使得信息熵增益最大的候选模型结构添加至目标网络结构集合中；估计目标网络结构集合中的目标网络结构的预测性能，获取目标网络结构集合中的目标网络结构的实际性能，根据预测性能与实际性能之间的偏差更新目标函数的参数。该方法可以提升模型结构的采样效率。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及人工智能技术领域，尤其涉及神经网络结构的采样方法和装置。

背景技术

随着人工智能技术和数据存储技术的发展，深度神经网络在许多领域的任务中取得了重要的成果。深度神经网络的网络结构对任务的执行效果具有直接的影响，因此，构建最优的神经网络结构成为了深度学习的一个研究热点。

NAS(neural architecture search，自动化神经网络结构搜索)是指用算法代替繁琐的人工操作，自动搜索出最佳的神经网络架构。一般NAS的几个关键要素包括搜索空间定义、搜索策略和搜索目标评估方法等。其中，搜索策略涉及到网络性能与网络结构之间的关系的确定，即构建表征网络性能与网络结构之间关系的模型，这样可以利用该模型帮助NAS快速搜索合适的网络结构。

发明内容

本公开的实施例提出了神经网络结构的采样方法和装置、电子设备和计算机可读介质。

第一方面，本公开的实施例提供了一种神经网络结构的采样方法，包括：对表征神经网络模型的性能随神经网络模型的结构的概率分布的目标函数进行参数初始化；通过执行多次迭代操作，从预设的网络结构搜索空间中搜索出用于预测目标函数的目标网络结构集合，其中，网络结构搜索空间包括用于处理深度学习任务数据的神经网络结构；迭代操作包括：在预设的网络结构搜索空间中采样出未被采样过的神经网络结构，作为当前迭代操作中的候选模型结构；根据当前的目标函数，计算在上一次迭代操作中确定出的目标网络结构集合中添加当前迭代操作中的候选模型结构后的信息熵增益；从当前迭代操作中的候选模型结构中确定出使得信息熵增益最大的候选模型结构，添加至目标网络结构集合中；利用当前的目标函数估计目标网络结构集合中的目标网络结构的预测性能，并获取基于对应的深度学习任务数据训练的目标网络结构集合中的目标网络结构的实际性能，根据预测性能与实际性能之间的偏差更新目标函数的参数。

在一些实施例中，上述迭代操作还包括：响应于确定目标网络结构的预测性能与实际性能之间的偏差满足预设的收敛条件，将当前迭代操作后得到的目标网络结构集合确定为搜索出的用于预测目标函数的目标网络结构集合。

在一些实施例中，上述方法还包括：基于执行多次迭代操作后获得的目标网络结构集合，估计表征神经网络模型的性能随神经网络模型的结构的概率分布的目标函数。

在一些实施例中，上述方法还包括：利用目标函数，预测网络结构搜索空间内的神经网络结构的性能分布；以及基于预设的性能约束条件，以及预测出的网络结构搜索空间内的神经网络结构的性能分布，确定出执行预设的深度学习任务的神经网络结构。

在一些实施例中，上述预设的性能约束条件包括：处理器的功耗约束条件；神经网络结构的性能包括运行神经网络结构所产生的功耗。