[发明专利]可学习通用视频编码方法、系统、设备及存储介质

权利要求书

1.一种可学习通用视频编码方法，其特征在于，包括：

基于特征的视频编码部分：对当前视频帧与上一视频帧的重建特征之间的运动矢量进行预测与编码，并经过量化与熵编码获得运动码流，通过对所述运动码流进行熵解码与解码，获得重建运动矢量；结合所述重建运动矢量与上一视频帧的重建特征挖掘出多尺度时域上下文信息，并结合所述多尺度时域上下文信息对当前视频帧进行编码，并经过量化与熵编码获得视频码流，通过对所述视频码流进行熵解码与解码，获得当前视频帧的重建特征；

任务处理部分：由任务网络利用输入的各视频帧的重建特征执行指定类型的任务处理；其中，指定类型的任务包括：人类视觉任务和机器视觉任务中的任一种或多种任务。

2.根据权利要求1所述的一种可学习通用视频编码方法，其特征在于，所述对当前视频帧与上一视频帧的重建特征之间的运动矢量进行预测与编码，并经过量化与熵编码获得运动码流，通过对所述运动码流进行熵解码与解码，获得重建运动矢量包括：

通过跨域运动编码器对当前视频帧与上一视频帧的重建特征之间的运动矢量进行预测与编码，获得运动隐变量；经量化模块处理后获得量化后的运动隐变量，再通过运动熵模型进行熵编码，获得运动码流；

通过运动熵模型对运动码流进行熵解码，获得量化后的运动隐变量，再通过跨域运动解码器进行解码，获得重建运动矢量；

其中，所述跨域运动编码器与跨域运动解码器采用自编码器结构。

3.根据权利要求2所述的一种可学习通用视频编码方法，其特征在于，

所述通过运动熵模型进行熵编码，获得运动码流包括：估计量化后的运动隐变量的概率分布参数，结合估计的量化后的运动隐变量的概率分布参数对量化后的运动隐变量进行熵编码，获得运动码流；

所述通过运动熵模型对运动码流进行熵解码，获得量化后的运动隐变量包括：结合估计的量化后的运动隐变量的概率分布参数对运动码流进行熵解码，获得量化后的运动隐变量。

4.根据权利要求1所述的一种可学习通用视频编码方法，其特征在于，结合所述重建运动矢量与上一视频帧的重建特征挖掘出多尺度时域上下文信息的过程通过时域上下文挖掘模块实现，所述时域上下文挖掘模块包括：N个卷积模块、N个反卷积模块、以及N-1个下采样模块，其中，N为设定的正整数；

N个卷积模块依次连接，N个反卷积模块依次连接，N-1个下采样模块依次连接；第一个卷积模块与第N个反卷积模块连接，第2个卷积模块与第N-1个反卷积模块连接，依次类推，第N个卷积模块与第1个反卷积模块连接；第1个下采样模块与第2个卷积模块连接，第2个下采样模块与第3个卷积模块连接，依次类推，第N-1个下采样模块与第N个卷积模块连接；第1个下采样模块的输入为重建运动矢量，第1个卷积模块的输入为重建运动矢量与上一视频帧的重建特征，第1个反卷积模块的输入为第N个卷积模块的输出；

每一卷积模块包括依次设置的卷积层、残差连接块与扭曲操作层；第1个反卷积模块包括依次设置的卷积层与残差连接块，第2个至第N个反卷积模块包括依次设置的上采样层、残差连接块、卷积层与残差连接块；每一个反卷积模块均分别输出一个尺度的时域上下文信息，最终输出N尺度时域上下文信息。

5.根据权利要求1所述的一种可学习通用视频编码方法，其特征在于，结合所述多尺度时域上下文信息对当前视频帧进行编码，并经过量化与熵编码获得视频码流，通过对所述视频码流进行熵解码与解码，获得当前视频帧的重建特征包括：

通过上下文编码器结合所述多尺度时域上下文信息对当前视频帧进行编码，获得上下文隐变量，经过量化模块处理后获得量化后的上下文隐变量；再通过上下文熵模型进行熵编码，获得视频码流；

通过上下文熵模型对视频码流进行熵解码，获得量化后的上下文隐变量，再通过上下文解码器对量化后的上下文隐变量进行解码，获得当前视频帧的重建特征；

其中，所述上下文编码器与上下文解码器采用自编码器结构。