[发明专利]基于概率分布的高效神经网络结构搜索方法

权利要求书

1.一种基于概率分布的高效神经网络结构搜索方法，其特征在于，包括：一种新颖的概率分布式算法，大大减少了训练子网络的数量，加快了神经网络架构搜索过程，并使用边训练边搜索的参数共享模式，在降低子网络评估成本的同时，保证了表现更好的操作得到更多的训练，进一步加快了神经网络架构搜索过程。

2.根据权利要求1所述的方法，其特征在于，所述概率分布式算法，包括：初始化与采样，网络结构的多样性是通过为每两个节点之间选择个可能的操作来实现的；通过一开始给各操作初始化概率，不断更新迭代概率，最终选择表现最优的那个操作；在一开始搜索的时候，我们要先将搜索空间中的所有操作都初始化概率参数为即两个节点之间的个操作的概率之和为1；然后在采样阶段，我们根据每两个节点之间个操作的概率，选出本轮每两个节点之间的操作，概率值越大，被选中的概率就越高；最终选出的结果，即为本轮采样到的网络。

3.根据权利要求1或2所述的方法，其特征在于，所述概率分布式算法,包括:概率更新方法，对于网络性能评估策略，我们也采取了强制参数共享的方式，在采样网络完成，堆叠cell组成完整CNN网络后，直接赋予共享参数，然后在数据集上进行性能评估；在得到该网络在数据集上的准确度后，我们将反馈该准确率，进行各个操作的概率更新；根据概率选出操作，确定cell之后堆叠成完整网络，被赋予共享参数后，进行性能评估，再反馈给控制器，进行信息和概率的更新，完成一轮迭代.首先，我们将记录搜索空间中每个操作的训练代数以及该操作的平均准确率；将操作概率定义为将每个操作的训练代数定义为将每个操作的平均准确率定义为其中代表个操作中的某个操作，遵循的规则为，在节点和之间的个操作中，如果操作相比其它操作迭代次数更少且准确率更高，则该操作优于其它操作，各操作平均准确率的更新公式为：

操作间的比较公式为：

所以操作的概率更新公式为：

P_m＝P_m+α×Z,(1≤m≤M) (6)

其中α是超参数，代表操作概率更新的幅度大小；在搜索空间中挑选出迭代次数更少，但是平均准确率却更高的操作，然后增强该操作的概率；同时，对那些迭代次数更多，但是平均准确率却更低的操作，我们认为这是属于表现不好的操作，减弱该操作的概率；在经过一定次数的迭代之后，搜索空间中的各操作的概率将会有效的收敛并稳定；为了生成最终的神经网络，我们在概率收敛后，选择所有边中概率最高的操作；对于具有多个输入的节点，我们采用前个概率的操作；在确定normal cell和reduction cell后，我们将它们按设定的数量进行堆叠组成完整神经网络。

4.根据权利要求1所述的方法，其特征在于，所述边训练边搜索的参数共享模式包括：在已知搜索空间已经确定，且我们确定了在每轮迭代搜索到cell后，将由个cell堆叠组成完整的神经网络进行性能评估；所以我们共享的是个cell中各边上的各操作参数；即仅需要保存个操作的训练参数，其中ε是具有N个中间节点的可能边的集合；然后每次在训练数据集或者评估数据集上训练或评估神经网络时，从保存的共享参数中读取相应的操作参数而不是随机初始化，在训练参数结束后，又将最新的操作参数保存回相应位置。

5.根据权利要求1或4所述的方法，其特征在于，所述边训练边搜索的参数共享模式包括：我们在训练了一代共享参数后，便进行一轮网络搜索，在采样到网络，进行性能评估，更新操作概率之后，用更新后的操作概率再进行新一轮的共享参数训练，如此迭代，直至操作概率收敛且稳定。