[发明专利]一种基于深度变维码率控制的视频图像处理方法

说明书

本发明涉及一种基于深度变维码率控制的视频图像处理方法，包括：步骤S1、将原始高分辨率图像进行双三次下采样和低通滤波，得到平滑滤波图像；步骤S2、利用降维修正网络生成的修正项对平滑滤波图像进行细节修正，得到降维修正图像；步骤S3、采用深度码率控制模型对降维修正图像进行编码；步骤S4、建立并级联率失真卷积网络模型，基于先知图像率失真特性和预测失真图像线性缩放准则，对失真图像线性补偿优化，得到无损降维图像；步骤S5、对无损降维图像进行双三次插值维度还原，得到模糊深维图像；步骤S6、采用升维特征预测网络对升维细节进行预测并优化，得到还原图像。与现有技术相比，本发明具有传输效率高、线性损失小以及码率精度高的优点。

技术领域

本发明涉及视频图像编解码技术领域，尤其是涉及一种基于深度变维码率控制的视频图像处理方法。

背景技术

21世纪以来，4K、8k、HDR(High Dynamic Range)以及360度全景声等视频技术得到了快速发展和应用，但随之而来的是视频数据量爆发式增长，对存储和传输技术带来了巨大挑战。新一代视频编码标准H.266/VVC(Versatile Video Coding)目标是比上一代标准H.265/HEVC的编码性能提高一倍，但是视频数据量的增长已远超编码压缩性能的提升，尤其是对于4K超高清或以上分辨率视频的压缩，其编码码率已达到了很高地步。由此可见，高分辨率视频的编码将占用大量的带宽资源，因此亟需有效方法来降低编码码率。

目前国内研究现状：目前大多采用传统的码控方法，如MPEG-1中的可变码率控制模型、MPEG-2中的TM5模型和MPEG-4中的VM8模型。还有H.263中的TMN8模型、H.264/AVC中的二次R-Q模型以及H.265/HEVC中的R-ρ模型、URQ模型和R-λ模型。此外，还有以主观评价为基础的码率控制算法；以视觉感兴趣区域重点码控的码控算法；以编码树单元为基础通过构建泰勒级数展开式的闭合解，估计每个编码树单元的最优码率的码控算法等等。

但是，传统的图像变维手段很难对高分辨率图像进行恢复，难以实现多源图像精确融合以及高效信息提取与先验；此外，深度变维技术在码率控制中却少有应用，主要难点在于变维视频特性与码控编码的关系机理未知。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种传输效率高、线性损失小以及码率精度高的基于深度变维码率控制的视频图像处理方法。

本发明的目的可以通过以下技术方案来实现：

本发明提供了一种基于深度变维码率控制的视频图像处理方法，该方法包括以下步骤：

步骤S1、将原始高分辨率图像进行双三次下采样和低通滤波，得到平滑滤波图像；

步骤S2、利用降维修正网络生成的修正项对所述平滑滤波图像进行细节修正，得到降维修正图像；

步骤S3、采用深度码率控制模型对所述降维修正图像进行编码，重建后生成失真图像；

步骤S4、建立并级联率失真卷积网络模型，基于先知图像率失真特性和预测失真图像线性缩放准则，对所述失真图像线性补偿优化，得到无损降维图像；

步骤S5、对所述无损降维图像进行双三次插值维度还原，得到模糊深维图像；

步骤S6、采用升维特征预测网络对升维细节进行预测并优化，得到还原图像。

优选地，所述步骤S2中的降维修正网络的优化目标为：

式中，x为原始高分辨率图像，x^*为理想最佳降维图像；Red(·)为需要训练的降维修正网络，θ₁为降维修正网络的参数；down(·)为对图像进行双三次下采样加上低通滤波操作。

优选地，所述步骤S4中的升维特征预测网络的优化目标为：