[发明专利]分像素插值方法、系统、计算机设备和介质

说明书

本发明提供了一种分像素插值方法、系统、计算机设备和介质。其中，一种分像素插值方法，包括：对训练集中的每一张原始图像进行处理，得到整像素块和分像素块；将整像素块前向传播到卷积神经网络，得到分像素块的预测值；计算分像素块的预测值与分像素块的均方差；将均方差反向传播到卷积神经网络，以更新卷积神经网络各层的权值，循环迭代直至卷积神经网络收敛，得到分像素插值网络。通过本发明的技术方案，实现了通过单一网络即可插值出属于不同分像素位的参考块，并使得视频压缩的性能得到提升。

技术领域

本发明涉及视频编码技术领域，具体而言，涉及一种分像素插值方法，一种分像素插值系统，一种计算机设备和一种计算机可读存储介质。

背景技术

在数字视频的使用传播过程中，视频编解码是一项不可或缺的关键技术。视频编解码技术通过对视频进行编码端的编码压缩以及解码端的解码恢复，极大地降低了数字视频在存储和传输过程中的开销，使得数字视频在日常生活中的使用得以实现。其中，运动补偿是视频编解码技术利用帧间冗余信息提升视频压缩率的一个关键方法。

在运动补偿过程中，编码器会在已编码视频帧中搜索与当前待编码视频帧块相似的已编码参考块，基于相似的已编码参考块，编码器可以仅编码记录待编码块与参考块之间的残差，从而减少编码所需存储空间，提升压缩率。然而，由于视频采样的离散化特性，在运动补偿寻找已编码参考块的过程中，当待编码块与参考块之间的运动偏移处于亚像素精度时，在参考帧中将难以找到与待编码块足够相似的参考块。

为此，在运动补偿技术中，分像素插值算法被用于对已编码相邻帧中的参考块进行亚像素级的插值，生成处于不同亚像素精度的分像素块，从而获取更多的参考信息，得到更加相似的参考块以进一步辅助编码压缩。目前的编码技术普遍采取手工设计的简单固定的插值滤波器进行插值，这一类插值方法由于采取的插值滤波器简单而固定，往往不能很好地处理多样的视频信号。

受启发于深度神经网络技术在图像处理问题中的成功应用，一些方法在分像素插值算法中引入了深度神经网络，并获得了一定的性能提升。但是，已有的方法尚未将深度神经网络应用到所有的分像素位的插值，性能还比较有限。且有的方法需要为每一个分像素位插值训练一个模型，比较繁琐。

因此，如何实现一种更加灵活有效的分像素插值方法，通过单一网络即可插值出属于不同分像素位的参考块，并使得视频压缩的性能得到提升，成为目前亟待解决的技术问题。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的一方面在于提出了一种分像素插值方法。

本发明的另一方面在于提出了一种分像素插值系统。

本发明的再一方面在于提出了一种计算机设备。

本发明的又一方面在于提出了一种计算机可读存储介质。

有鉴于此，本发明提出了一种分像素插值方法，包括：对训练集中的每一张原始图像进行处理，得到整像素块和分像素块；将整像素块前向传播到卷积神经网络，得到分像素块的预测值；计算分像素块的预测值与分像素块的均方差；将均方差反向传播到卷积神经网络，以更新卷积神经网络各层的权值，循环迭代直至卷积神经网络收敛，得到分像素插值网络。

根据本发明的分像素插值方法，首先是训练过程，即让神经网络学习已编码参考块到属于不同分像素位的参考块的映射。假设要实现1/N像素位的分像素插值算法，需要先收集足够多样的原始图片，经过隔点采样、高斯模糊和编码模拟等步骤生成训练数据，获取一批整像素块和分像素块的训练对。让生成的整像素块前向流过神经网络，得到最后预测出的分像素位块，将预测出的分像素位块与训练对中的分像素块进行均方差的计算，计算结果作为误差值，反向传播到神经网络各层，以更新网络中的权值。以此迭代，直到神经网络模型收敛。通过本发明的技术方案，实现了通过单一网络即可插值出属于不同分像素位的参考块，并使得视频压缩的性能得到提升。