[发明专利]视频编码方法和装置

说明书

本申请公开了视频编码方法、系统、装置及设备。其中所述方法通过分层CU划分图(HCPM)表示编码树单元(CTU)的划分结构，通过分层CU模式图(HCMM)表示CTU中各CU的编码模式类型，将多任务学习用于同时加速视频编码器的多个模块的编码过程，包括CU的深度决策过程和CU的模式决策过程，多任务学习模型以HCPM和HCMM作为学习目标，基于该模型对CU深度和编码模式预测的结果，确定编码树单元的划分模式和编码模式。采用这种处理方式，使得用一个深度模型来预测多个目标，能够快速跳过不必要的CU划分过程和CU帧内模式决策过程；因此，可以有效降低较高编码质量下的编码复杂度。

本申请要求在2022年8月3日提交中国专利局、申请号为202210926773.7、发明名称为“视频编码方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及视频处理技术领域，具体涉及视频编码方法、装置和系统，视频编码预测模型构建方法和装置，以及电子设备。

背景技术

视频编码器能够提供的视频压缩率和编码复杂度，是影响视频产品(如直播、点播、视频通话等)竞争力的重要指标。

一种典型的视频编码方式采用如下过程：用分层编码单元(CU)划分图(HCPM)的形式表示整个编码树单元(CTU)的CU划分结构；通过早期终止的分层CNN(Early-TerminatedHierarchical CNN，ETH-CNN)来学习预测HCPM；通过早期终止的长短期记忆LSTM网络(ETH-LSTM)来学习CU划分的时域相关性；结合ETH-LSTM和ETH-CNN网络来预测CU的划分，以提升视频压缩率及降低帧间模式下的编码复杂度。

然而，在实现本发明过程中，发明人发现上述方案至少存在如下问题：由于存在不必要的CU划分过程和CU帧内模式决策过程，因此编码复杂度较高。

发明内容

本申请提供视频编码方法，以解决现有技术存在的无编码复杂度较高的问题。本申请另外提供视频编码装置和系统，视频编码预测模型构建方法和装置，以及电子设备。

本申请提供一种视频编码方法，包括：

获取视频帧的编码树单元；

获取所述编码树单元的预测残差图像和预测重建图像；

通过多任务学习的预测模型，根据所述预测残差图像和预测重建图像，获取所述编码树单元的分层编码单元划分图和分层编码单元模式图，所述分层编码单元划分图包括编码单元的划分概率，所述分层编码单元模式图包括编码单元的编码模式概率；

根据所述划分概率、所述编码模式概率，确定所述编码树单元的划分模式及编码模式。

可选的，所述通过多任务学习的预测模型，根据所述预测残差图像和预测重建图像，获取所述编码树单元的分层编码单元划分图和分层编码单元模式图，包括：

通过所述预测模型，根据所述预测残差图像和预测重建图像，获取共享特征；

根据所述共享特征，获取所述分层编码单元划分图；

根据所述共享特征，获取所述分层编码单元模式图。

可选的，所述通过所述预测模型，根据所述预测残差图像和预测重建图像，获取共享特征，包括：

通过所述预测模型，根据所述预测残差图像和预测重建图像，获取多个层次的共享特征；

所述根据所述共享特征，获取所述分层编码单元划分图，包括：

根据多个层次的共享特征，获取所述分层编码单元划分图；

所述根据所述共享特征，获取所述分层编码单元模式图，包括：

根据多个层次的共享特征，获取所述分层编码单元模式图。