[发明专利]一种神经网络构建方法以及装置

权利要求书

1.一种神经网络构建方法，其特征在于，包括：

获取初始超网络，所述初始超网络包括多个节点，所述多个节点之间通过至少一种基础运算连接，其中，所述多个节点中的任意每两个节点包括第一节点和第二节点，每个基础运算的输出作为所述第二节点的输入,所述第一节点的输出经所述第一节点和所述第二节点之间连接的每个基础运算进行运算后得到的输出为所述每个基础运算的输出；

通过预设的训练集对所述超网络进行至少一次迭代更新，得到至少一个输出网络，其中，在所述至少一次迭代更新中的任意一次迭代更新中，通过所述预设的训练集更新上一次迭代更新得到的输出网络中每个基础运算对应的结构参数，得到更新后的网络，删除所述更新后的网络中低于预设值的结构参数对应的基础运算，得到当前次迭代的输出网络，所述结构参数包括所述第一节点和所述第二节点之间连接的每个基础运算的输出占所述第二节点的输入的权重。

2.根据权利要求1所述的方法，其特征在于，在所述任意一次迭代更新中，所述通过所述预设的训练集更新上一次迭代更新得到的输出网络的每个基础运算对应的结构参数，得到更新后的网络，包括：

通过所述预设的数据集，结合损失函数更新上一次迭代更新得到的输出网络的每个基础运算对应的权重参数和结构参数，得到所述更新后的网络，所述权重参数为所述多个节点之间连接的每个基础运算内使用的参数，所述损失函数中包括针对结构参数的约束函数；

在得到当前次迭代的输出网络之后，所述方法还包括：

判断所述前次迭代的输出网络是否符合预设的剪枝条件，并根据判断结果调整所述约束函数在所述损失函数中所占的权重。

3.根据权利要求2所述的方法，其特征在于，所述根据判断结果调整所述约束函数在所述损失函数中所占的权重，包括：

若所述当前次迭代的输出网络符合所述预设的剪枝条件，则增加所述约束函数在所述损失函数中所占的权重；

若所述当前次迭代的输出网络不符合所述预设的剪枝条件，则减少所述约束函数在所述损失函数中所占的权重。

4.根据权利要求2或3所述的方法，其特征在于，所述预设的剪枝条件包括以下一项或者多项：所述前次迭代更新过程中删除的基础运算的数量大于预设数量、所述前次迭代更新过程中删除的基础运算占所述更新后的网络中的基础运算的比例大于预设比例、所述前次迭代更新过程中删除基础运算后得到的网络的分类精度的下降值超过预设精度值、或者，所述前次迭代更新过程中删除基础运算后得到的网络的每秒浮点运算次数FLOPS减少的值大于第一预设次数。

5.根据权利要求1-4中任一项所述的方法，其特征在于，在所述任意一次迭代更新中，所述通过所述预设的训练集更新上一次迭代更新得到的输出网络的权重参数和结构参数，包括：

将所述预设的数据集作为所述上一次迭代更新得到的输出网络的输入，得到所述上一次迭代更新得到的输出网络的输出数据；

通过损失函数以及所述上一次迭代更新得到的输出网络的输出数据，得到所述上一次迭代更新得到的输出网络的损失值；

根据所述损失值对所述上一次迭代更新得到的输出网络的权重参数更新，以及对所述上一次迭代更新得到的输出网络中的每个构建单元的结构参数分别进行更新，得到所述更新后的网络，所述更新后的网络中的每个构建单元的结构参数不完全相同。

6.根据权利要求1-5中任一项所述的方法，其特征在于，在所述任意一次迭代更新中，所述删除所述更新后的网络中低于预设值的结构参数对应的基础运算，得到当前次迭代的输出网络，包括：

删除所述更新后的网络中低于预设值的结构参数对应的基础运算，得到当前次迭代的网络；

若所述当前次迭代的网络符合预设的稳定条件，则将所述当前次迭代的网络作为当前次迭代的输出网络。