[发明专利]一种神经网络模型结构搜索方法、装置及存储介质

权利要求书

1.一种神经网络模型结构搜索方法，其特征在于，所述方法包括：

初始化第一超网络和第二超网络；

基于所述第一超网络和所述第二超网络，进行模型结构搜索，得到多个候选子网络，所述多个候选子网络具有相同网络结构但不同模型参数；

基于所述多个候选子网络的模型参数变化程度，确定神经网络模型结构，其中，所述候选子网络的模型参数变化程度包括所述第一超网络中子网络的参数与所述第二超网络中子网络的参数之间的变化程度。

2.根据权利要求1所述的神经网络模型结构搜索方法，其特征在于，基于所述第一超网络和所述第二超网络，进行模型结构搜索，得到多个候选子网络，包括：

在所述第一超网络中采样得到多个候选子网络；

在所述第二超网络中选择与所述多个候选子网络模型结构相同的多个候选子网络，并对所述第二超网络中的多个候选子网络进行初始化，得到与第一超网络中的多个候选子网络具有相同网络结构但不同模型参数的多个候选子网络。

3.根据权利要求2所述的神经网络模型结构搜索方法，其特征在于，所述对所述第二超网络中的多个候选子网络进行初始化，包括：

对所述第二超网络中的多个候选子网络进行数据依赖的初始化。

4.根据权利要求3所述的神经网络模型结构搜索方法，其特征在于，对所述第二超网络中的多个候选子网络进行数据依赖的初始化，包括：

确定对所述第二超网络中多个候选子网络中每一候选子网络进行初始化过程中涉及的卷积层；

对所述卷积层进行卷积运算，并调整所述卷积层的参量，得到卷积运算后的输出特征满足正态分布的候选子网络。

5.根据权利要求4所述的神经网络模型结构搜索方法，其特征在于，对所述卷积层进行卷积运算，并调整所述卷积层的参量，得到卷积运算后的输出特征满足正态分布的候选子网络，包括：

对所述卷积层进行卷积运算，并统计卷积运算后的输出特征的标准差；

基于所述卷积层的参量，对所述输出特征的标准差进行归一化处理，得到卷积运算后的输出特征满足正态分布的候选子网络。

6.根据权利要求5所述的神经网络模型结构搜索方法，其特征在于，基于所述卷积层的参量，对所述输出特征的标准差进行归一化处理，包括：

将所述卷积层的参量与所述输出特征的标准差之间进行比值运算，以对输出特征标准差进行归一化处理。

7.根据权利要求1所述的神经网络模型结构搜索方法，其特征在于，基于所述多个候选子网络的模型参数变化程度，确定神经网络模型结构，包括：

在所述多个候选子网络中，按照选择模型参数变化程度由大到小的顺序，选择第一数量的候选子网络；

对所述第一数量的候选子网络进行交叉变异，生成第二数量的候选子网络；

将所述第一数量的候选子网络和所述第二数量的候选子网络，重新作为所述多个候选子网络；

重复执行以上过程，直至搜索得到网络结构最优的神经网络模型结构。

8.根据权利要求1所述的神经网络模型结构搜索方法，其特征在于，确定神经网络模型结构之后，所述方法还包括：

将所述神经网络模型结构在目标数据集中进行重新训练，并基于重新训练的结果，对所述神经网络模型结构进行性能评估。

9.一种神经网络模型结构搜索装置，其特征在于，所述装置包括：

处理单元，用于初始化第一超网络和第二超网络；

搜索单元，用于基于所述第一超网络和所述第二超网络，进行模型结构搜索，得到多个候选子网络，所述多个候选子网络具有相同网络结构但不同模型参数；

确定单元，用于基于所述多个候选子网络的模型参数变化程度，确定神经网络模型结构，其中，所述候选子网络的模型参数变化程度包括所述第一超网络中子网络的参数与所述第二超网络中子网络的参数之间的变化程度。