[发明专利]网络结构搜索方法、装置、存储介质与电子设备

说明书

公开了一种网络结构搜索方法、装置、存储介质与电子设备，其方法包括：按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组，每个所述操作组中包括至少一个操作；为每个所述操作组配置第一结构参数；为每个所述操作组中的各个所述操作，配置相同的网络参数；基于所述网络结构中各节点对之间的所述操作组的所述第一结构参数和所述网络参数，采用训练数据集对所述网络结构进行基于梯度的网络结构搜索。本申请实施例的技术方案，能够保证网络结构搜索的正常进行，从而能够提高网络结构搜索的效率，保证网络结构搜索的准确性。

技术领域

本发明涉及处理器技术领域，具体涉及一种网络结构搜索方法、装置、存储介质与电子设备。

背景技术

人工智能(Artificial Intelligence)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术学科。AI技术可以应用于机器人、语言识别、图像识别、自然语言处理和专家系统等各种领域中，使用非常方便。

现有的AI技术中，大多需要基于神经网络模型进行深度学习来实现。而神经网络模型的网络结构的搜索是深度学习任务中的首要问题。现有技术中，通常使用进化算法和强化学习去在大的搜索空间中实现网络结构搜索。但是，基于强化学习和进化算法的网络结构搜索一般需要耗费大量的时间和资源。基于此，出现了一种基于梯度的网络结构搜索方法，该搜索方法中，可以人工选择部分结构来组成小的搜索空间，从而可以在很少时间和资源的情况下，得到不逊于基于强化学习和进化算法的网络结构搜索的结果，是一种性能非常好的网络结构搜索方法。

但是，当搜索空间比较大时，基于梯度的网络结构搜索方法会出现梯度过快消失等状况，导致无法进行正常的网络结构搜索。

发明内容

为了解决上述技术问题，提出了本申请的网络结构搜索方法、装置、存储介质与电子设备。

根据本申请的一个方面，提供了一种网络结构搜索方法，包括：

按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组，每个所述操作组中包括至少一个操作；

为每个所述操作组配置第一结构参数；

为每个所述操作组中的各个所述操作，配置相同的网络参数；

基于所述网络结构中各节点对之间的所述操作组的所述第一结构参数和所述网络参数，采用训练数据集对所述网络结构进行基于梯度的网络结构搜索。

根据本申请的另一个方面，提供了一种网络结构搜索装置，包括：

分组模块，用于按照预设的分组策略，将网络结构中各节点对之间的多个操作分为多个操作组，每个所述操作组中包括至少一个操作；

配置模块，用于为每个所述操作组配置第一结构参数；

所述配置模块，还用于为每个所述操作组中的各个所述操作，配置相同的网络参数；

搜索模块，用于基于所述网络结构中各节点对之间的所述操作组的所述第一结构参数和所述网络参数，采用训练数据集对所述网络结构进行基于梯度的网络结构搜索。

根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。

根据本申请的另一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的方法。