[发明专利]基于结构重参数化训练的背景质量增强方法

说明书

本发明公开了一种基于结构重参数化训练的背景质量增强方法，包括训练过程和推理过程，结构重参数化模块会在训练过程中插入到背景增强模块的模型结构，与背景增强模块一起进行参数优化，在推理过程中会经过特定变换操作，将有效参数固定到背景增强模块中；背景增强模块是经过结构重参数化模块训练改进过的背景复原算法，负责对视频帧进行背景区域的识别和质量提升操作；函数优化模块负责优化结构重参数化模块和背景增强模块的模型参数，最终优化好的模块被用于推理过程使用。本发明使用结构重参数化技术改进背景复原算法，在参考的背景信息有限时也能有效提高背景质量。

技术领域

本发明属于视频处理技术领域，具体涉及一种基于结构重参数化训练的背景质量增强方法。

背景技术

在视频传输过程中，为了减轻传输压力，需要满足传输码率要求，会对传输视频进行码率压缩，因此会降低视频画质，造成细节丢失。

为了尽可能的不降低视频质量，一般在压缩时会分别对重要区域(前景)和非重要区域(背景)进行不同压缩率的处理，使前景质量相对更高，背景区域压缩后质量会更差。

发明内容

鉴于以上存在的问题，本发明提供一种基于结构重参数化训练的背景质量增强方法，利用结构重参数化技术增强神经网络模型的拟合能力，可以提高现有背景质量提升方法的运行速度和效果。

为解决上述技术问题，本发明采用如下的技术方案：

一种基于结构重参数化训练的背景质量增强方法，包括训练过程和推理过程，其中：

采用结构重参数化模块在训练过程中插入到背景增强模块的模型结构，与背景增强模块一起进行参数优化，在推理过程中经过特定变换操作，将有效参数固定到背景增强模块中；

训练过程中输入训练数据对img_x,img_ref，其中img_x表示待处理数据，img_ref表示辅助参考的其他图像信息，背景增强模块用于完成背景区域识别划分和利用辅助信息增强背景质量的一系列操作，模块中基础组件是核大小为3×3的二维卷积和激活函数ReLU组合的无分支结构；结构重参数化模块用于将基础组件的参数进行多分支扩展；对经过结构重参数化模块扩展后的背景增强模块的参数进行优化，优化目标是基准图像序列GT和背景增强模块输出数据Y，计算最小重建损失，得到最佳参数θ^all；

推理过程中，数据输入模块将从视频流里或存储介质里加载得到待处理的视频序列和参考帧，输入到经过优化后的背景增强模块中处理；在训练过程中得到结构重参数化模块和背景增强模块的最佳参数θ^all后，根据结构重参数化方法，采用特定变换方式，将θ^all映射为只包含基础组件的背景增强模块的参数θ^rep，重复所有类似结构的变换，得到改进后的背景增强模块的所有模型结构的参数变换；采用数据输出模块将背景增强模块处理好的序列合并到输出视频保存或播放到显示设备上。

一种可能的实现方式中，结构重参数化模块用于将基础组件的参数进行多分支扩展包括核大小为3×1的二维卷积、核大小为1×3的二维卷积、核大小为1×1的二维卷积和恒等映射。

一种可能的实现方式中，对经过结构重参数化模块扩展后的背景增强模块的参数进行优化，优化目标是基准图像序列GT和背景增强模块输出数据Y，计算最小重建损失，得到最佳参数θ^all的公式表示为：

L＝∑(Y-GT)²

其中L是均方误差函数，通过训练得到最小重建损失