[发明专利]一种基于深度学习的多模式分像素插值方法

说明书

本发明公开了一种基于深度学习的多模式分像素插值方法，其步骤包括：1)差分预测网络对输入的已编码的整像素参考块采用两种模式进行预测，生成两种模式下的分像素预测值；模式一、差分预测网络预测所有目标亚像素到该整像素参考块的左上角整像素的残差，并将左上角整像素与预测残差相加，得到一组目标亚像素值；模式二、差分预测网络预测目标亚像素与该整像素参考块的左上角之外的一整像素的残差，计算对应的目标亚像素预测值；2)编码器分别使用已有插值方法生成的亚像素级参考块、模式一和模式二生成的亚像素级参考块，对待编码块进行帧间编码，然后基于三种编码的编码效果选择最佳亚像素级参考块，并将供解码器端使用的相应信息存储到码流。

技术领域

本发明属于视频编码领域，主要涉及一种帧间运动补偿的分像素插值方法。可以用于提升视频压缩率。

背景技术

在数字视频的使用传播过程中，视频编解码是一项不可或缺的关键技术。视频编解码技术通过对视频进行编码端的编码压缩以及解码端的解码恢复，极大地降低了数字视频在存储和传输过程中的开销，使得数字视频在日常生活得以被普遍使用。其中，运动补偿是视频编解码技术里利用帧间冗余信息提升视频压缩率的一个关键方法。

在运动补偿过程中，编码器会在已编码压缩的视频帧中搜索与当前待编码视频帧块相似的已编码参考块，基于相似的已编码参考块，编码器可以仅编码记录待编码块与参考块之间的残差和参考块的索引信息，而无需再编码完整的待编码块信息，从而减少编码所需存储空间，提升压缩率。然而，由于视频采样的离散化特性，在运动补偿寻找已编码参考块的过程中，当待编码块与参考块之间的运动偏移处于亚像素精度时，在参考帧中将难以找到与待编码块足够相似的参考块。

为此，在运动补偿技术中，分像素插值算法被用于对已编码相邻帧中的参考块进行亚像素级的插值，生成处于不同亚像素精度的分像素块，从而获取更多的参考信息，得到更加相似的参考块以进一步辅助编码压缩。目前编码技术普遍插值出达到1/4像素精度的共15个亚像素级参考块作为额外的帧间参考，整像素与分像素的相对位置关系示意如附图1所示，对于整像素块I^A中的每个整像素有对应的3个1/2位像素以及12个1/4位像素目前的编码技术普遍采取手工设计的简单固定的插值滤波器进行插值，这一类插值方法由于采取的插值滤波器简单而固定，往往不能很好地处理多样的视频信号。

受启发于深度神经网络技术在图像处理问题中的成功应用，一些方法在分像素插值算法中引入了深度神经网络，并获得了一定的性能提升。但是，已有的方法仍然在构建深度神经网络时将分像素插值问题建模为传统的插值问题，利用单一位置的整像素预测所有的分像素。即现有方法仍仅仅通过预测分像素与左上角整像素之间的残差来实现对分像素的预测，预测结果不够准确。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种基于深度学习的多模式分像素插值方法，通过预测分像素与不同位置整像素之间的残差，实现对分像素的多种模式的预测，并将多模式预测的结果提供给编码器选择，从而获取更佳的编码性能。

本发明的技术方案为：

一种基于深度学习的多模式分像素插值方法，其步骤包括：

1)差分预测网络对输入的已编码的整像素参考块采用两种模式进行预测，生成两种模式下的分像素预测值；其中，模式一、差分预测网络预测所有目标亚像素到该整像素参考块的左上角整像素的残差，并将左上角整像素与预测残差相加，得到一组目标亚像素值；模式二、差分预测网络预测目标亚像素与该整像素参考块的左上角之外的一个整像素的残差，并基于得到的残差得到对应的目标亚像素预测值；

2)编码器分别使用已有插值方法生成的亚像素级参考块、模式一生成的亚像素级参考块和模式二生成的亚像素级参考块，对待编码块进行帧间编码，然后基于三种编码的编码效果选择最佳亚像素级参考块，并将供解码器端使用的相应信息存储到码流。

进一步的，训练所述差分预测网络的方法为：