[发明专利]面向边缘计算的重参数神经网络架构搜索方法

说明书

本发明公开了面向边缘计算的重参数神经网络架构搜索方法，包括如下步骤：步骤一：设计线性算子与多支路块结构；步骤二：通过堆叠多支路块结构构建超级网络；步骤三：通过基于梯度的一阶段搜索算法训练超级网络；步骤四：删除超级网络中多余的支路构建最佳子网络；步骤五：多分支的最佳子网络转化成单支路网络；步骤六：使用单支路网络完成任务推理。本发明用于搜索可进行重参数的神经网络结构，在保证推理精度的同时，确保了推理的实时性以及模型运算的高效率。

技术领域

本发明涉及神经网络架构搜索技术领域，尤其是涉及面向边缘计算的重参数神经网络架构搜索方法。

背景技术

神经网络架构搜索是近年来机器学习领域中的研究热门，这种技术包括对搜索算子和空间的设计，搜索算法的设计等。目前，神经网络架构搜索技术可用于自动化的设计各种大小的神经网络模型，避免人工进行复杂的参数调整。其中，最具潜力的应用之一在设计轻量化的神经网络模型，提高神经网络在移动设备上的应用能力。

在移动设备中，神经网络推理的实时性和准确性是两大要考虑的因素。在早期人工设计的轻量化神经网络模型中，Howard等人提出了MobileNet，该神经网络是单支路的结构，通过1×1的点卷积和3×3的深度分离卷积交替运算大大降低了网络的参数量，从而提升了推理速度（Howard, A.G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W.,Weyand, T., Andreetto, M., Adam, H.: Mobilenets: Efficient convolutionalneural networks for mobile vision applications. In ArXiv abs/1704.04861,2017.）。但是由于该模型是单支路结构，很难得到较高的准确性。同时，在人工设计轻量化模型时，许多工作往往把网络的参数量或浮点数运算量作为衡量模型快慢的指标。然而类似跳跃连接等无参数且低浮点数运算的操作仍会导致推理速度变慢。

为了缓解深度单支路结构网络准确性低和多支路网络结构推理慢的问题，Ding等人提出了利用结构重参数技术训练神经网络，即在网络训练时网络为多分支结构，而在网络推理时网络为单支路结构（Xiaohan Ding and Xiangyu Zhang and Ningning Ma andJungong Han and Guiguang Ding and Jian Sun.: RepVGG: Making VGG-styleConvNets Great Again. In CVPR, 2021）。此外，大多数的深度学习推理框架都对3×3卷积有优化，因此全部都由3×3组成的单支路结构可以获得非常快的推理速度。

虽然RepVGG系列模型已经大大提高了模型的实际推理速度，但因为支路的结构是人为固定的，所以网络模型的准确性仍有非常大的提升空间。此外，过多的支路会导致训练网络模型需要的显存空间大大增加。因此，如何高效的通过重参数技术提升模型性能成为时下需要解决的问题。

发明内容

为解决现有技术的不足，出一种易实现、适用性高的，可搜索出部署在边缘计算情况下的重参数神经网络模型，实现保证网络高精度的同时，提高实时检测速度的目的，本发明采用如下的技术方案：

面向边缘计算的重参数神经网络架构搜索方法，包括如下步骤：

S1，设计各个支路的算子以及搜索空间，为了加强K×K卷积提取特征的能力，每个原始K×K卷积设置支路，包括其他尺度的卷积和捷径short cut，构成多分支块，用于提取不同视野下的图片特征；

S2，构建包含所有支路的超级网络，借鉴VGG网络中的直筒设计，通过不断堆叠K×K卷积的多分支块，构建一个单支路冗余的网络结构；

S3，通过离散神经网络架构搜索方法，在给定显存限制下，训练超级网络，包括如下步骤：

S31，给定显存最大限制C，初始化每条支路的结构参数ɑ和权重参数θ；