[发明专利]一种基于结构重参数化的模型推理速度提升方法及装置

权利要求书

1.一种基于结构重参数化的模型推理速度提升方法，其特征在于，包括：

获取样本数据并按照多分支结构进行训练，得到训练模型，所述训练模型包括残差连接大层，且所述残差连接大层包括1×1卷积层和3×3卷积层；

将所述残差连接大层的非线性层放在所述残差连接大层的最后一层，再根据Conv层与BN层融合的技术对所述1×1卷积层和所述3×3卷积层进行融合，得到卷积融合层并完成所述残差连接大层的融合，以得到结构重参数化的检测模型。

2.根据权利要求1所述的一种基于结构重参数化的模型推理速度提升方法，其特征在于，所述Conv层与BN层融合的技术，包括：

分别将Conv层的表达式Conv＝Wc*x+Bc和BN层的表达式带入公式y＝BN(Conv(x))中进行计算，得到第一公式其中x为所述Conv层的输入，y为所述Conv层的输出，Wc为所述Conv层的权重，Bc为所述Conv层的偏置项，γ为所述BN层的缩放系数，β为所述BN层的偏移系数，E为所述BN层的均值，var为所述BN层的方差；

对所述第一公式进行变形，得到第二公式所述第二公式为一元一次方程，完成所述Conv层和所述BN层的融合。

3.根据权利要求2所述的一种基于结构重参数化的模型推理速度提升方法，其特征在于，所述将所述残差连接大层的非线性层放在所述残差连接大层的最后一层，再根据Conv层与BN层融合的技术对所述1×1卷积层和所述3×3卷积层进行融合，得到卷积融合层并完成所述残差连接大层的融合，以得到结构重参数化的检测模型，包括：

步骤一、将所述残差连接大层的非线性层放在所述残差连接大层的最后一层；

步骤二、预设所述残差连接大层的输入为输出为

步骤三、当C₁＝C₂,H₁＝H₂,W₁＝W₂时，可得所述输入M₁与所述输出M₂的关系式为：且所述残差连接大层的权重为所述残差连接大层的偏置为其中表示从1开始，i表示通道，C₁为所述残差连接大层的输入通道，C₂为所述残差连接大层的输出通道，N是batch_size，H1、W1是输入特征的高和宽，H2,W2是输出特征的高和宽，var⁽³⁾,E⁽³⁾,β⁽³⁾,γ⁽³⁾分别表示3x3 Conv之后的BN的方差、均值、偏置系数、缩放系数，var⁽¹⁾,E⁽¹⁾,β⁽¹⁾,γ⁽¹⁾分别表示1x1 Conv之后的BN的方差、均值、偏置系数、缩放系数，var⁽⁰⁾,E⁽⁰⁾,β⁽⁰⁾,γ⁽⁰⁾分别表示identity之后的BN的方差、均值、偏置系数、缩放系数，identity表示一个层；

步骤四、根据所述步骤一、所述步骤二、所述步骤三可得，所述残差连接大层按照所述Conv层与BN层融合的技术可以完成融合。