[发明专利]一种基于深度学习特征空间的视频压缩方法

说明书

本发明公开了一种基于深度学习特征空间的视频压缩方法，包括：将待压缩的视频拆解为连续的图像帧，利用特征提取器提取当前图像帧的当前特征；基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征；利用压缩网络对预测特征的误差在特征层面进行计算和压缩，得到初始重建特征；将初始重建特征与之前缓存的多帧参考特征进行多帧特征融合，得到最终重建特征；对最终重建特征进行帧重建，得到当前图像帧的重建帧；将压缩网络中产生的量化特征进行熵编码，得到二进制比特流。本发明将运动估计，运动补偿，残差压缩操作从像素层面转到特征层面，更具鲁棒性。

技术领域

本发明涉及视频压缩技术领域，更具体的说是涉及一种基于深度学习特征空间的视频压缩方法。

背景技术

由于视频网站流量逐年增大，支持更高的分辨率以及更高的帧速率，视频内容占互联网总流量的比率逐年增加，2017年，视频内容已占互联网总流量的75％，预计到2022年将达到82％。

目前使用的视频压缩算法大多是基于传统的视频压缩算法H.264与H.265。因此，在视频压缩领域中，急需新的基于深度学习的视频压缩系统来有效减小视频序列中的冗余信息。目前采用的基于深度学习的视频压缩方法为，使用由光流网络、运动向量编码网络及运动向量解码网络进行运动估计和运动补偿计算，达到更好的运动估计和运动补偿效果；再使用的残差网络，残差网络包括两个Resblock模块，实现在层次更深的情况进行网络的训练；再使用算术熵编码操作完成编码，并存储为Pickle文件，实现视频的压缩和存储。但是该方法的所有操作包括运动估计，运动补偿，残差压缩均是在像素层面进行的，这就限制了深度学习网络的能力，具有很大的局限性。

因此，如何提供一种在特征层面进行运动估计，运动补偿以及残差压缩，以提高鲁棒性的基于深度学习特征空间的视频压缩方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于深度学习特征空间的视频压缩方法，将基于深度学习的视频压缩的所有的操作都从原始像素层面转移到特征层面，以更加鲁棒的方式进行运动估计，运动补偿，残差压缩，并提供多帧融合的策略，以达到更加良好的视频还原效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度学习特征空间的视频压缩方法，包括以下步骤：

将待压缩的视频拆解为连续的图像帧，利用特征提取器提取当前图像帧的当前特征；

基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征；

利用压缩网络对预测特征的误差在特征层面进行计算和压缩，得到初始重建特征；

将初始重建特征与之前缓存的多帧参考特征进行多帧特征融合，得到最终重建特征；

对最终重建特征进行帧重建，得到当前图像帧的重建帧；

将压缩网络中产生的量化特征进行熵编码，得到二进制比特流。

优选的，在上述一种基于深度学习特征空间的视频压缩方法中，所述基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征，包括：

利用特征提取器提取上一重建帧的参考特征/

对当前特征F_t和参考特征进行运动估计，得到两帧之间的偏移量O_t；

利用压缩网络对偏移量O_t进行运动压缩，得到运动压缩过程中产生的量化特征和解压之后的重建偏移量

基于重建偏移量采用可变形卷积对参考特征/进行运动补偿，得到当前图像帧的预测特征/