[发明专利]通过时间可变形卷积进行深度环路滤波

权利要求书

1.一种使用一个或更多个神经网络利用环路滤波器执行视频编码的方法，所述方法包括：

获取视频序列中的多个图像帧；

确定所述多个图像帧中的每个图像帧的特征图；

基于所述特征图来确定偏移图；

通过对所述特征图和所述偏移图执行时间可变形卷积(TDC)来确定对齐特征图；以及

基于所述对齐特征图来生成多个对齐帧。

2.根据权利要求1所述的方法，还包括：

对所述多个对齐帧进行合成，以输出与所述多个图像帧相对应的多个高质量帧。

3.根据权利要求1所述的方法，还包括：

确定指示所述特征图与所述对齐特征图之间未对齐的误差的对齐损失，

其中，通过所述对齐损失来训练所述一个或更多个神经网络。

4.根据权利要求1所述的方法，其中，获取所述多个图像帧包括：堆叠所述多个图像帧以获取4维(4D)输入张量。

5.根据权利要求1所述的方法，其中，确定所述偏移图包括：根据偏移生成深度神经网络(DNN)来连接多个特征图。

6.根据权利要求1所述的方法，其中，还使用去块滤波器(DF)、样本自适应偏移(SAO)、自适应环路滤波器(ALF)或跨部件自适应滤波器(CCALF)中的至少一个来处理所述多个图像帧。

7.根据权利要求2所述的方法，其中，评估所述多个高质量图像帧以确定所述多个图像帧的重构质量，

其中，在所述一个或更多个神经网络中反向传播所述多个图像帧的重构质量，以及

其中，通过所述多个图像帧的重构质量来训练所述一个或更多个神经网络。

8.根据权利要求1所述的方法，还包括确定判别损失，所述判别损失指示所述多个图像帧中的每个图像帧是原始图像帧还是高质量帧的分类中的误差，以及

其中，通过所述判别损失来训练在装置中实现的一个或更多个神经网络。

9.根据权利要求1所述的方法，其中，确定所述对齐特征图包括：使用时间可变形卷积深度神经网络(TDC DNN)，

其中，所述TDC DNN包括堆叠中的多个TDC层，以及

其中，所述多个TDC层中的每个TDC层之后是包括整流线性单元(ReLU)的非线性激活层。

10.一种装置，包括：

至少一个存储器，所述至少一个存储器存储计算机程序代码；以及

至少一个处理器，所述至少一个处理器被配置成访问所述至少一个存储器并按照所述计算机程序代码的指示进行操作，所述计算机程序代码包括：

获取代码，所述获取代码被配置成使所述至少一个处理器获取视频序列中的多个图像帧；

确定代码，所述确定代码被配置成使所述至少一个处理器：

确定所述多个图像帧中的每个图像帧的特征图，并基于所述特征图来确定偏移图；

通过对所述特征图和所述偏移图执行时间可变形卷积(TDC)来确定对齐特征图；以及

生成代码，所述生成代码被配置成使所述至少一个处理器生成多个对齐帧。

11.根据权利要求10所述的装置，其中，所述生成代码还被配置成：使所述至少一个处理器对所述多个对齐帧进行合成，以输出与所述多个图像帧相对应的多个高质量帧。

12.根据权利要求10所述的装置，其中，所述确定代码还被配置成：使所述至少一个处理器确定对齐损失，所述对齐损失指示所述特征图与所述对齐特征图之间未对齐的误差，以及

其中，通过所述对齐损失来训练在所述装置中实现的一个或更多个神经网络。

13.根据权利要求10所述的装置，其中，所述获取代码还被配置成：使所述至少一个处理器以堆叠布置所述多个图像帧以获取4维(4D)输入张量。