[发明专利]一种视频帧重构方法、装置及终端设备

权利要求书

1.一种视频帧重构方法，其特征在于，包括：

在解码网络前添加一层卷积长短时记忆神经网络(ConvLSTM)，并对当前帧的前一帧进行编码；

将ConvLSTM输出的特征信息记录为S_t-1；

基于所述S_t-1和当前帧得到预测帧；

根据所述预测帧和当前帧得到重构帧。

2.如权利要求1所述的视频帧重构方法，其特征在于，所述基于所述S_t-1和当前帧得到预测帧包括：

通过特征提取网络提取所述S_t-1的特征和当前帧的特征；

将所述当前帧的特征与S_t-1的特征相减得到最终特征；

将所述最终特征与S_t-1的特征拼接后输入解码网络中得到光流和分离卷积核；

基于所述光流、分离卷积核和当前帧的前一帧得到预测帧。

3.如权利要求2所述的视频帧重构方法，其特征在于，所述基于所述光流、分离卷积核和当前帧的前一帧得到预测帧包括：

根据所述光流对当前帧的前一帧进行warp操作后得到warp预测帧；

将所述warp预测帧与所述分离卷积核进行分离卷积操作得到预测帧。

4.如权利要求1所述的视频帧重构方法，其特征在于，所述根据所述预测帧和当前帧得到重构帧包括：

将所述预测帧与当前帧相减得到残差；

将所述残差输入残差压缩网络得到解压残差；

将所述预测帧与解压残差相加得到重构帧。

5.一种视频帧重构装置，其特征在于，包括：

编码模块，用于在解码网络前添加一层卷积长短时记忆神经网络(ConvLSTM)，并对当前帧的前一帧进行编码；

记录模块，用于将ConvLSTM输出的特征信息记录为S_t-1；

预测模块，用于基于所述S_t-1和当前帧得到预测帧；

重构模块，用于根据所述预测帧和当前帧得到重构帧。

6.如权利要求5所述的视频帧重构装置，其特征在于，所述预测模块包括：

特征提取单元，用于通过特征提取网络提取所述S_t-1的特征和当前帧的特征；

特征计算单元，用于将所述当前帧的特征与S_t-1的特征相减得到最终特征；

特征解码单元，用于将所述最终特征与S_t-1的特征拼接后输入解码网络中得到光流和分离卷积核；

预测帧单元，用于基于所述光流、分离卷积核和当前帧的前一帧得到预测帧。

7.如权利要求6所述的视频帧重构装置，其特征在于，所述预测帧单元包括：

warp子单元，用于根据所述光流对当前帧的前一帧进行warp操作后得到warp预测帧；

分离卷积子单元，用于将所述warp预测帧与所述分离卷积核进行分离卷积操作得到预测帧。

8.如权利要求5所述的视频帧重构装置，其特征在于，所述重构模块包括：

残差单元，用于将所述预测帧与当前帧相减得到残差；

解压残差单元，用于将所述残差输入残差压缩网络得到解压残差；

重构帧单元，用于将所述预测帧与解压残差相加得到重构帧。

9.一种视频帧重构终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。