[发明专利]通过时间可变形卷积进行深度环路滤波

说明书

提供了用于执行视频编码的方法、装置和存储介质。该方法包括：获取视频序列中的多个图像帧；确定多个图像帧中的每个图像帧的特征图，并基于特征图来确定偏移图；通过对特征图和偏移图执行时间可变形卷积(TDC)来确定对齐特征图；以及基于对齐特征图来生成多个对齐帧。

相关申请的交叉引用

本申请基于并要求于2020年10月9日向美国专利商标局提交的美国临时申请第63/090,126号以及于2021年8月5日向美国专利商标局提交的美国申请第17/394,504号的优先权，这两个申请的公开内容通过引用以其全部内容并入本文中。

背景技术

1.技术领域

本公开内容涉及视频编码领域，尤其涉及使用环路滤波器来基于具有时间可变形卷积(TDC)的深度神经网络(DNN)处理经解码的视频的设备和方法。

2.相关技术的描述

传统的视频编码标准例如H.264/高级视频编码(H.264/AVC)、高效视频编码(HEVC)和通用视频编码(VVC)共享类似(递归)基于块的混合预测/变换框架，在该基于块的混合预测/变换框架中，各个编码工具例如帧内/帧间预测、整数变换和上下文自适应熵编码被仔细地手工制作以优化整体效率。基本上，时空像素邻域被用于预测信号结构，以获取用于随后的变换、量化和熵编码的相应残差。另一方面，深度神经网络(DNN)的性质是通过分析来自邻近像素的感受野的时空信息来提取不同水平的时空刺激。探索高度非线性和非局部时空相关性的能力为大大改善压缩质量提供了有希望的机会。

然而，压缩的视频不可避免地遭受压缩伪像，这严重降低了体验质量(QoE)。已经开发了基于DNN的方法来提高压缩的图像的视觉质量，例如图像去噪、超分辨率、去模糊等。当这些方法被应用于视频时，基于图像的方法遭受由改变压缩的视频质量、视频场景和视频中的对象运动而引起的不稳定和波动。因此，重要的是，利用来自视频中的邻近帧的信息来稳定和改善提高的视觉质量。

利用来自多个邻近视频帧的信息的一个注意事项是由移动相机和动态场景而引起的复杂运动。传统的基于块的运动向量不适用于非平移运动。此外，虽然基于学习的光流方法可以在像素级提供更准确的运动信息，但这些方法仍然容易出错，尤其是沿着移动对象的边界容易出错。

因此，本公开内容的一个或更多个实施方式提供了一种具有时间可变形卷积(TDC)的基于DNN的模型，以在无需显式的运动估计的情况下以数据驱动的方式处理任意运动和复杂运动。

发明内容

根据实施方式，提供了一种使用一个或更多个神经网络利用环路滤波器执行视频编码的方法。该方法包括：获取视频序列中的多个图像帧；确定多个图像帧中的每个图像帧的特征图，并且基于特征图来确定偏移图；通过对特征图和偏移图执行时间可变形卷积(TDC)来确定对齐特征图；以及生成多个对齐帧。

根据实施方式，提供了一种装置，该装置包括：至少一个存储器，所述至少一个存储器存储计算机程序代码；以及至少一个处理器，所述至少一个处理器被配置成访问至少一个存储器并按照计算机程序代码的指示进行操作。计算机程序代码包括：获取代码，其被配置成使至少一个处理器获取视频序列中的多个图像帧；确定代码，其被配置成使至少一个处理器：确定多个图像帧中的每个图像帧的特征图，并且基于特征图来确定偏移图，通过对特征图和偏移图执行时间可变形卷积(TDC)来确定对齐特征图；以及生成代码，其被配置成使至少一个处理器生成多个对齐帧。

根据实施方式，提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序代码，当由至少一个处理器执行所述计算机程序代码时，所述至少一个处理器被配置成：获取视频序列中的多个图像帧；确定多个图像帧中的每个图像帧的特征图，并且基于特征图来确定偏移图；通过对特征图和偏移图执行时间可变形卷积(TDC)来确定对齐特征图；以及生成多个对齐帧。

附图说明

下面的描述简要介绍了附图，附图示出了本公开内容的一个或更多个实施方式。