[发明专利]一种视频帧重构方法、装置及终端设备

说明书

本发明适用于视频压缩技术领域，提供了一种视频帧重构方法、装置及终端设备，包括：对参考帧和当前帧进行运动补偿对齐处理得到运动对齐参考帧；将所述当前帧与运动对齐参考帧进行融合重构得到重构帧。本发明利用了同一视频时域上不同帧的质量差异，将参考帧进行运动补偿对齐处理，使此参考帧中的高质量参考像素内容对齐到当前帧得到运动对齐参考帧；再将当前帧和运动对齐参考帧进行融合处理得到最终重构帧。提高了视频帧的质量，从而提升了解码视频的质量。

技术领域

本发明属于视频压缩技术领域，尤其涉及一种视频帧重构方法、装置及终端设备。

背景技术

在传统视频编解码标准中，通常包含一个滤波后处理模块。目的是为了修复在视频压缩人工设计的预测模式下产生的一些不和谐副产物，例如传统编解码中的块效应，从而提升解码视频的质量和观感。虽然人工设计的滤波器可以在一定程度上提升画面质量，但是对于深度学习编解码器不一定起作用。

因此，有必要提出一种方案，解决上述技术问题。

发明内容

有鉴于此，本发明实施例提供了一种视频帧重构方法、装置及终端设备，以解决现有技术中视频解码后质量不高的问题。

本发明实施例的第一方面提供了一种视频帧重构方法，包括：

对参考帧和当前帧进行运动补偿对齐处理得到运动对齐参考帧；

将所述当前帧与运动对齐参考帧进行融合重构得到重构帧。

进一步地，所述对参考帧和当前帧进行运动补偿对齐处理得到运动对齐参考帧包括：

计算所述参考帧和当前帧之间的光流信息；

提取所述当前帧的特征信息；

将所述当前帧的特征信息、光流信息以及参考帧输入Unet得到光流重构信息；

基于所述光流重构信息对参考帧Warp后得到运动对齐参考帧。

进一步地，所述将当前帧与运动对齐参考帧进行融合重构得到重构帧包括：

提取所述当前帧和运动对齐参考帧的特征信息；

提取所述当前帧的特征信息；

将所述当前帧和运动对齐参考帧的特征信息以及当前帧的特征信息输入Unet得到重构帧。

进一步地，所述参考帧和当前帧为同一视频时域上的不同帧。

本发明实施例的第二方面提供了一种视频帧重构装置，包括：

运动补偿对齐模块，用于对参考帧和当前帧进行运动补偿对齐处理得到运动对齐参考帧。

融合重构模块，用于将所述当前帧与运动对齐参考帧进行融合重构得到重构帧。

进一步地，所述运动补偿对齐模块包括：

光流计算单元，用于计算所述参考帧和当前帧之间的光流信息；

特征提取单元，用于提取所述当前帧的特征信息；

光流重构单元，用于将所述当前帧的特征信息、光流信息以及参考帧输入Unet得到光流重构信息；

Warp单元，用于基于所述光流重构信息对参考帧Warp后得到运动对齐参考帧。

进一步地，所述融合重构模块包括：

第一特征提取单元，用于提取所述当前帧和运动对齐参考帧的特征信息；

第二特征提取单元，用于提取所述当前帧的特征信息；