[发明专利]一种神经网络架构搜索的方法、装置和电子设备

权利要求书

1.一种神经网络架构搜索的方法，其特征在于，所述方法包括：

确定神经网络模型的搜索空间；所述搜索空间包括多个搜索分支；所述搜索空间包括输入节点和输出节点分别与各搜索分支之间的多种操作以及各搜索分支中的操作层之间的操作；

在所述神经网络模型的训练过程中，对所述神经网络模型中的网络参数进行更新，基于更新的网络参数对所述搜索空间中的操作进行优化，得到目标神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述基于更新的网络参数对所述搜索空间中的操作进行优化，得到目标神经网络模型，包括：

确定更新的网络参数中对应于各操作的权重参数；

基于各操作的权重参数对所述搜索空间中的操作进行优化，得到目标神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述基于各操作的权重参数对所述搜索空间中的操作进行优化，包括：

对各操作的权重参数按照由大到小进行排序；

在所述神经网络模型的训练过程中逐步删除排序在后的特定数量的操作，直至达到训练约束条件时，得到目标神经网络模型。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述多个搜索分支中均包括混合卷积操作层；各混合卷积操作层的卷积核尺寸不同。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述搜索空间包括第一搜索分支、第二搜索分支和第三搜索分支；所述第一搜索分支、所述第二搜索分支和所述第三搜索分支分别与输入节点和输出节点连接，以形成输入节点和输出节点分别与各搜索分支之间的操作；

所述第一搜索分支和所述第三搜索分支中至少包括上采样操作层和下采样操作层；其中，所述第一搜索分支中的所述上采样操作层和下采样操作层按照第一顺序排列，所述第三搜索分支中的所述上采样操作层和下采样操作层按照与所述第一顺序相反的第二顺序排列。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述输入节点包括多个输入通道，所述输出节点包括多个输出通道；

所述多个输入通道中的至少部分输入通道分别与各搜索分支连接，以形成所述至少部分输入通道与各搜索分支之间的操作；

所述多个输出通道中的至少部分输出通道分别与各搜索分支连接，以形成各搜索分支与所述至少部分输入通道之间的操作。

7.一种神经网络架构搜索的装置，其特征在于，所述装置包括：确定单元和优化单元；其中，

所述确定单元，用于确定神经网络模型的搜索空间；所述搜索空间包括多个搜索分支；所述搜索空间包括输入节点和输出节点分别与各搜索分支之间的多种操作以及各搜索分支中的操作层之间的操作；

所述优化单元，用于在所述神经网络模型的训练过程中，对所述神经网络模型中的网络参数进行更新，基于更新的网络参数对所述搜索空间中的操作进行优化，得到目标神经网络模型。

8.根据权利要求7所述的装置，其特征在于，所述优化单元，用于确定更新的网络参数中对应于各操作的权重参数；基于各操作的权重参数对所述搜索空间中的操作进行优化，得到目标神经网络模型。

9.根据权利要求8所述的装置，其特征在于，所述优化单元，用于对各操作的权重参数按照由大到小进行排序；在所述神经网络模型的训练过程中逐步删除排序在后的特定数量的操作，直至达到训练约束条件时，得到目标神经网络模型。

10.根据权利要求7至9任一项所述的装置，其特征在于，所述多个搜索分支中均包括混合卷积操作层；各混合卷积操作层的卷积核尺寸不同。