[发明专利]基于结构重参数化训练的背景质量增强方法

权利要求书

1.一种基于结构重参数化训练的背景质量增强方法，其特征在于，包括训练过程和推理过程，其中：

采用结构重参数化模块在训练过程中插入到背景增强模块的模型结构，与背景增强模块一起进行参数优化，在推理过程中经过特定变换操作，将有效参数固定到背景增强模块中；

训练过程中输入训练数据对img_x,img_ref，其中img_x表示待处理数据，img_ref表示辅助参考的其他图像信息，背景增强模块用于完成背景区域识别划分和利用辅助信息增强背景质量的一系列操作，模块中基础组件是核大小为3×3的二维卷积和激活函数ReLU组合的无分支结构；结构重参数化模块用于将基础组件的参数进行多分支扩展；对经过结构重参数化模块扩展后的背景增强模块的参数进行优化，优化目标是基准图像序列GT和背景增强模块输出数据Y，计算最小重建损失，得到最佳参数θ^all；

推理过程中，数据输入模块将从视频流里或存储介质里加载得到待处理的视频序列和参考帧，输入到经过优化后的背景增强模块中处理；在训练过程中得到结构重参数化模块和背景增强模块的最佳参数θ^all后，根据结构重参数化方法，采用特定变换方式，将θ^all映射为只包含基础组件的背景增强模块的参数θ^rep，重复所有类似结构的变换，得到改进后的背景增强模块的所有模型结构的参数变换；采用数据输出模块将背景增强模块处理好的序列合并到输出视频保存或播放到显示设备上。

2.如权利要求1所述的基于结构重参数化训练的背景质量增强方法，其特征在于，结构重参数化模块用于将基础组件的参数进行多分支扩展包括核大小为3×1的二维卷积、核大小为1×3的二维卷积、核大小为1×1的二维卷积和恒等映射。

3.如权利要求1所述的基于结构重参数化训练的背景质量增强方法，其特征在于，对经过结构重参数化模块扩展后的背景增强模块的参数进行优化，优化目标是基准图像序列GT和背景增强模块输出数据Y，计算最小重建损失，得到最佳参数θ^all的公式表示为：

L＝∑(Y-GT)²

4.如权利要求2所述的基于结构重参数化训练的背景质量增强方法，其特征在于，推理过程中，在训练过程中得到结构重参数化模块和背景增强模块的最佳参数θ^all后，根据结构重参数化方法，采用特定变换方式，将θ^all映射为只包含基础组件的背景增强模块的参数θ^rep，重复所有类似结构的变换，得到改进后的背景增强模块的所有模型结构的参数变换具体包括：

对于3x3 Conv结构，包含的参数是3×3大小的ω^3×3；对于1x1 Conv结构，包含的参数是1×1大小的ω^1×1，将1x1 Conv结构等价变换为3x3 Conv结构只需将1×1卷积核填充0得到特殊的3×3卷积核，对于1x3Conv结构和3x1 Conv结构的参数分别是ω^1×3和ω^3×1，变换方式类似，将1×3卷积核和3×1卷积核都填充至3×3大小，表达式如下：

对于恒等映射，等效为一种卷积核形式类似单位矩阵的特殊卷积结构采用等价变换得到参数

设输入输出恒等映射结构的特征尺寸大小为c×h×w，其中h和w表示特征的长和宽，c表示输入输出的特征维数，则恒等映射的等效参数的尺寸可以表示为c×c×1×1，在c取1～c范围内的所有整数的单位矩阵位置上的等效参数值为1，其他为0，再经过等价变换得到3x3 Conv结构；

最终将所有等价变换参数相加得到参数公式为：

至此完成了单一基础组件的结构重参数化等价变换操作，重复所有类似结构的变换，得到改进后的背景增强模块的所有模型结构的参数变换，公式如下：