[发明专利]面向边缘计算的重参数神经网络架构搜索方法

权利要求书

1.面向边缘计算的重参数神经网络架构搜索方法，其特征在于包括如下步骤：

S1，设计各个支路的算子以及搜索空间，为原始卷积设置支路，构成多分支块，用于提取不同视野下的图片特征；

S2，构建包含所有支路的超级网络，通过不断堆叠多分支块，构建支路的网络结构；

S3，通过离散神经网络架构搜索方法，在给定显存限制下，训练超级网络，包括如下步骤：

S31，给定显存最大限制C，初始化每条支路的结构参数α和权重参数θ；

S32，计算每条支路的重要性：

（1）

其中，Z_i,j表示第i个多分支块中第j条支路的重要性，exp( )表示指数e，α_i,j表示第i个多分支块中第j条支路的结构参数，ζ_i,j表示第i个多分支块中第j条支路的采样噪声，λ_i,j表示第i个多分支块中第j条支路的温度系数；

S33，计算每条支路是否激活：

（2）

其中R_i,j=α_i,j+ζ_i,j，Rank(R_i,j)表示第i个多分支块中第j条支路在所有支路中的重要性排名，s表示排名阈值，通过调整s的大小来满足所述显存最大限制C，低于该排名阈值的支路不激活；

S34，获取训练数据，多分支块中的每条支路获取不同的图像特征，激活公式（2）中值为1的支路，进行前向推理，之后计算预测的图像分类标签与真实的图像分类标签的损失函数L；

S35，通过反向传播，分别计算权重参数θ和激活参数Z在损失函数L上的梯度，所述激活参数Z是由Z_i,j组成的向量，同时计算结构参数ɑ在logp(Z)上的梯度，p(ɑ)是结构参数ɑ经过如下公式概率化后的结果

(3)

S36，根据对L的梯度，更新权重参数θ，同时根据如下公式更新结构参数ɑ：

(4)

其中E_Z~p(Zi,j)表示在Z采样于p(Z_i,j)概率分布下的期望，▽α_i,j是第i个多分支块中第j条支路的结构参数α在logp(Z)上的梯度；

S37，回到S32，直至超级网络中的权重参数和结构参数训练到收敛；

S4，将训练后多余的支路从超级网络中去除，得到最佳子网络，根据公式（2）去除经过步骤3训练的超级网络中未激活的支路；

S5，将多支路的最佳子网络融合成单支路的最佳子网络；

S6，使用单支路的最佳子网络获取图像特征，进行实时推理，将融合后的单支路网络进行图像分类。