[发明专利]一种基于图像超分辨率的视频编解码方法及装置

说明书

本申请提供的基于图像超分辨率的视频编解码方法及装置，本申请方法在对待编码和待编码的视频图像进行预测前，先对视频图像进行超分辨率插值处理，可以对图像进行放大及进行细节信息恢复，从而，在对待编码/待解码图像进行预测得到预测块时，相比现有技术利用线性插值对视频图像进行预测的方法，更能有效还原原图像，避免出现现有技术中预测块边缘模糊的问题，从而提升视频图像预测的准确性，进而提升视频图像的编码效率。

技术领域

本发明涉及图像超分辨率技术领域，具体涉及一种基于图像超分辨率的视频编解码方法及装置。

背景技术

传统的编码方法是利用待编码图像与视频自身的信息冗余对视频图像进行压缩处理的，随着编码技术的不断进步，视频编码的冗余度不断降低，待编码图像与视频自身的时空域相关性被充分利用。借助待编码图像与视频以外的信息，对待编码图像和视频信息进行预测，从而降低待编码图像与视频本身的信息量，是大幅度提高图像与视频压缩效率的新方向。

现有技术中，为了提高视频图像帧间预测效率，分像素运动补偿技术普遍被采用。为了获得分像素信息，目前普遍采用线性插值的方法。线性插值方法的优点是简单，但缺点是难以恢复高分辨率图像的高频细节信息，同时对于边缘部分造成模糊，从而制约了分像素运动补偿的效率。

发明内容

本发明实施例提供的基于图像超分辨率的视频编码方法，包括：利用预训练的纹理字典库对视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复；对待编码图像的各个图像块在所述参考图像上进行运动估计和运动补偿，得到与所述待编码视频图像的各个图像块对应的预测块；将所述待编码视频图像的图像块与对应的所述预测块相减，得到预测残差块；对所述预测残差块进行编码处理。

本发明实施例提供的基于图像超分辨率的视频解码方法，包括：对获取的图像编码流信号进行解码得到预测残差块；利用预训练的纹理字典库对视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基为：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复；对待解码视频图像上的各个图像块在所述参考图像上进行运动补偿，得到与所述各个图像块对应的预测块；将所述预测块与所述预测残差块相加得到解码后的视频图像。

本发明实施例提供的基于图像超分辨率的视频编码装置，包括：超分辨率插值处理单元，用于利用预训练的纹理字典库对视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复；预测单元，用于对待编码图像上的各个图像块在参考图像上进行运动估计和运动补偿，得到与所述待编码视频图像的各个图像块对应的预测块；减法计算单元，用于将所述待编码视频图像的各图像块与所述运动估计单元估计得到的对应的预测块相减，得到预测残差块；编码单元，用于对所述减法计算单元计算得到的所述预测残差块进行编码处理。

本发明实施例提供的基于图像超分辨率的视频解码装置，包括：解码单元，用于对获取的图像编码流信号进行解码得到预测残差块；超分辨率插值处理单元，用于利用预训练的纹理字典库对视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复；预测单元，用于对待解码视频图像上的各个图像块在所述参考图像上进行运动补偿，得到与所述各个图像块对应的预测块；加法计算单元，用于将所述运动补偿处理单元得到的所述预测块与所述解码单元获取得到的所述预测残差块相加得到解码后的视频图像。