[发明专利]神经网络的生成方法、设备及计算机可读存储介质

说明书

本发明公开了一种神经网络的生成方法、设备及计算机可读储存介质，其中，神经网络的生成方法通过获取最优微单元，利用该最优微单元构建第一网络，使第一网络具有足够强大的性能，能够满足实际应用需求；利用预设的训练数据集对第一网络进行训练，得到第二网络，并建立第三网络，其中第三网络的微单元数目小于第二网络的微单元数目，利用第二网络分别训练所有第三网络的各个微单元，根据经过训练的第三网络的微单元可构建得到神经网络模型，这样所有第三网络的微单元功能都对应于第二网络的功能，相对于传统的逐个训练微单元的方法，能够减少训练数量，可有效降低算力需求，从而降低生成神经网络模型的代价。

技术领域

本发明涉及计算机技术领域，特别涉及一种神经网络的生成方法、设备及计算机可读存储介质。

背景技术

近年来深度学习技术在更强的算力支持下得到了长足发展并在计算机视觉、语音识别、自然语言处理等多个领域获得巨大成功。研究人员发现，在组成深度学习模型的多个要素中，人工神经网络的结构差异对模型的最终性能影响巨大。通常来说，对于特定的问题设计适合的神经网络需要经验丰富的算法工程师花费大量的时间精力反复调整并验证模型，调整效率差且效果难以保证。因此，可以针对目标问题自动化确定神经网络结构的神经网络架构搜索技术已成为深度学习领域近年来的研究热点。

然而，现有的神经网络搜索技术在实际应用时存在一项具体部署问题，解决特定问题的神经网络最终需要部署到算力差异很大的各类终端上，例如各型号的手机、平板电脑、笔记本电脑、台式机等，因此，需要面向各种推理终端提供一组尺寸大小齐全的神经网络模型，但生成这样一组模型所需付出的算力代价也十分巨大，当前生成一组神经网络模型的方案大致有：(1)构建微单元网络并逐个训练；(2)定义并训练一个包含大量第三网络的超网络。可以明显看出，两种方案都需要消耗大量的算力。因此，提出一种高效的神经网络模型构建方法，对于神经网络搜索在实际应用的部署环节意义重大。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种神经网络的生成方法，能够有效降低构建神经网络模型的算力需求，提高生成效率。

本发明还提出一种设备及计算机可读储存介质。

第一方面，本发明实施例提供的一种神经网络的生成方法，包括：

获取最优微单元，根据所述最优微单元构建第一网络；

利用预设的训练数据集训练所述第一网络，得到第二网络；

构建第三网络，并利用所述第二网络训练所述第三网络的各个微单元，其中，所述第三网络的微单元数目少于所述第一网络的最优微单元数目；

根据所述第三网络中训练后的所述微单元，得到神经网络模型。

第二方面，本发明实施例提供的一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面实施例所述的神经网络的生成方法。

第三方面，本发明实施例提供的一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面实施例所述的神经网络的生成方法。

本发明实施例包括：通过获取最优微单元，利用该最优微单元构建第一网络，使第一网络具有足够强大的性能，能够满足实际应用需求；利用预设的训练数据集对第一网络进行训练，得到第二网络，并建立第三网络，其中第三网络的微单元数目小于第一网络的最优微单元数目，利用第二网络分别训练所有第三网络的各个微单元，根据经过训练的第三网络的微单元可构建得到神经网络模型，这样所有第三网络的微单元功能都对应于第二网络的功能，相对于传统的逐个训练微单元的方法，能够减少训练数量，可有效降低算力需求，从而降低生成神经网络模型的代价，且所有第三网络的微单元可并行训练，能够有效提高构建神经网络模型的效率。