[发明专利]增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法

说明书

本发明公开了一种增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法，包括：S10，得到背景序列bgr以及前景序列及掩膜序列fgr，pha；S20，从背景序列bgr中随机选取一帧bgr1，当bgr1无其他有相关性的背景帧时，则直接对bgr1作图像仿射变换，得到bgr2；当bgr1在bgr中具有相关性帧时，则首先在具有相关性的所有序列中随机选择一帧，再执行仿射变换操作，得到bgr2；得到背景对bgr1，bgr2；S30，进行前后景序列组合；S40，对参考背景序列gt_bgr进行训练数据增广变换，得到训练数据对lq，gt_bgr，gt；S50，训练输入序列l_q和参考背景序列gt_bgr经过背景质量优化模块的处理后得到背景增强后的融合序列S60，经过大量数据多次迭代训练得到的参数θ用于提高融合序列的质量指标。

技术领域

本发明属于视频处理技术领域，具体涉及一种增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法。

背景技术

在现实生活中，为了减少视频传输带宽成本，需要使用降低传输码率，视频压缩等手段，因此会出现播放端视频画质较差，细节丢失，不利于观看的问题。

在此问题下提出的背景质量优化算法就是对较差的视频进行背景优化，达到既能有很低的传输成本，又保持播放端视频细节完整性的目的。这种算法可以节省更多传输资源用于提高前景区域细节的质量，在传输过程中背景优化的优先级可以降低，在接收端再进行质量提升，使背景的细节损失达到最低。

这种算法适用于监控类视频，摄像机的镜头需要保持固定，否则处理后的视频帧会存在背景扭曲等现象；另一方面，该算法对参考背景帧的画质要求较高，如果提供了质量不够的参考帧则处理的效果不会很理想。

发明内容

鉴于以上存在的问题，本发明提供一种增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法，用于在因镜头抖动而导致拍摄的视频画面抖动、扭曲或模糊的情况下，仍能根据参考的背景帧获得背景质量的大幅提升，并且前景细节不丢失，提高了背景质量优化算法的鲁棒性。

为解决上述技术问题，本发明采用如下的技术方案：

一种增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法，包括：

S10，获取包括前景区域的视频帧或图片(fgr)和对应的掩模(pha)，以及高质量的背景视频帧或图片(bgr)，经过前后景序列及掩膜获取，得到背景序列bgr以及前景序列及掩膜序列fgr，pha；

S20，从背景序列bgr中随机选取一帧bgr1，根据bgr1在bgr中寻找具有相关性的其他背景帧，当bgr1无其他有相关性的背景帧时，则直接对bgr1作图像仿射变换，得到bgr2；当bgr1在bgr中具有相关性帧时，则首先在具有相关性的所有序列中随机选择一帧，再执行仿射变换操作，得到bgr2；得到背景对bgr1，bgr2；

S30，进行前后景序列组合，输入数据包括fgr，pha和bgr1，bgr2，若前景不需要存在于参考背景帧中，只需要一份fgr，pha，组合得到基准图像序列gt_src与参考背景序列gt_bgr；若前景存在于参考背景帧中，在fgr，pha中选择两份具有前景相关性的前景序列fgr1，pha1，fgr2，pha2，再经过组合得到得到基准图像序列gt_src与参考背景序列gt_bgr；

S40，对参考背景序列gt_bgr进行训练数据增广变换，得到训练数据对lq，gt_bgr，gt；

S50，训练输入序列lq和参考背景序列gt_bgr经过背景质量优化模块的处理后得到背景增强后的融合序列