[发明专利]一种基于结构重参数化的模型推理速度提升方法及装置

说明书

本申请提供了一种基于结构重参数化的模型推理速度提升方法及装置，涉及卷积神经网络模型技术领域，包括：获取样本数据并按照多分支结构进行训练，得到训练模型，所述训练模型包括残差连接大层，且所述残差连接大层包括1×1卷积层和3×3卷积层；将所述残差连接大层的非线性层放在所述残差连接大层的最后一层，再根据Conv层与BN层融合的技术对所述1×1卷积层和所述3×3卷积层进行融合，以得到结构重参数化的检测模型。本技术方案采取将大层中的非线性层和线性层分开，将非线性层放在大层的最后一层，并通过结构重参数对线性层进行融合，从而完成大层的融合，解决大层不能融合的问题，从而提高了模型的推理速度。

技术领域

本发明属于卷积神经网络模型技术领域，尤其涉及一种基于结构重参数化的模型推理速度提升方法及装置。

背景技术

卷积神经网络已成为解决许多问题的主流方法。VGG在图像识别方面取得了巨大的成功，但是它仅使用了一个由conv、ReLU和pooling组成的简单体系结构。随着Inception、ResNet和DenseNet的出现，许多研究兴趣转移到了设计良好的体系结构上，使得模型变得越来越复杂。

许多复杂的卷积网络比简单的卷积网络提供更高的精度，但缺点也非常显著：(1)复杂的多分支设计虽然使得模型的精度大大的提高，但是复杂的结构使得模型的推理速度相应的大大降低；(2)虽然在现有技术中，通常采用Conv层和BN层融合的技术，从而减少网络层，提升推理速度，但是无法将一个像ResNet一样的残差连接大层进行融合，因为通常一个Conv层都由Conv+BN+Relu组成，即根据Conv层和BN层融合的技术无法将线性层与非线性层融合，不能提高模型的推理速度。

发明内容

本发明提供了一种基于结构重参数化的模型推理速度提升方法及装置，旨在解决上述中复杂的结构使得模型推理速度较低，现有融合技术无法融合像ResNet一样的残差连接大层的问题。

为了实现上述目的，本申请采用以下技术方案，包括：

获取样本数据并按照多分支结构进行训练，得到训练模型，所述训练模型包括残差连接大层，且所述残差连接大层包括1×1卷积层和3×3卷积层；

将所述残差连接大层的非线性层放在所述残差连接大层的最后一层，再根据Conv层与BN层融合的技术对所述1×1卷积层和所述3×3卷积层进行融合，得到卷积融合层并完成所述残差连接大层的融合，以得到结构重参数化的检测模型。

作为优选，所述Conv层与BN层融合的技术，包括：

分别将Conv层的表达式Conv＝Wc*x+Bc和BN层的表达式带入公式y＝BN(Conv(x))中进行计算，得到第一公式其中x为所述Conv层的输入，y为所述Conv层的输出，Wc为所述Conv层的权重，Bc为所述Conv层的偏置项，γ为所述BN层的缩放系数，β为所述BN层的偏移系数，E为所述BN层的均值，var为所述BN层的方差；

对所述第一公式进行变形，得到第二公式所述第二公式为一元一次方程，完成所述Conv层和所述BN层的融合。

作为优选，所述将所述残差连接大层的非线性层放在所述残差连接大层的最后一层，再根据Conv层与BN层融合的技术对所述1×1卷积层和所述3×3卷积层进行融合，得到卷积融合层并完成所述残差连接大层的融合，以得到结构重参数化的检测模型，包括：

步骤一、将所述残差连接大层的非线性层放在所述残差连接大层的最后一层；

步骤二、预设所述残差连接大层的输入为输出为