[发明专利]基于神经网络的预测块生成方法及装置

说明书

本发明提供一种基于神经网络的预测块生成方法，包括：至少将以下信息输入到卷积神经网络：待预测区域的参考块集合，所述参考块集合包括两个以上参考块；以及所述参考块集合中的至少一个参考块与所述待预测区域的相似度图；使用卷积神经网络处理输入信息；由以下方法之一得到所述待预测区域的预测块：直接由所述卷积神经网络的输出得到；或者由所述卷积神经网络的输出与所述待预测区域的第一预测块相加得到，所述第一预测块由参考块集合中的部分或全部参考块线性加权得到。本发明通过增加待预测区域与参考像素的相似度距离，能够有效学习预测值与原始值的映射关系，从而提高预测值的预测效率。

技术领域

本发明涉及图像处理技术，尤其涉及一种基于神经网络的预测块生成方法和装置。

背景技术

随着高清视频、多视点视频的广泛应用，网络传输带宽的挑战也越来越严峻。因而对高效视频压缩的需求日益增长。降低视频帧间、视点间的冗余度，提高视频编码效率是亟须解决的问题。

在视频预测技术中，多假设预测相对于单假设预测能在遮挡、光照变化的情况下更充分的挖掘空间相关性。相关研究表明运动矢量、视差矢量的精确度和多假设参考块的高效组合是决定多假设预测效率的关键信息。

相关研究中提出线性加权方案提高多假设参考的组合效率。第一类研究，编码器从预设的权重集合中选择使得编码率失真代价最小的权重值进行加权预测，并将权重值的索引传递到解码端，确保解码器选择正确的权重值进行线性加权。第二类研究，基于像素间的空间相关性，通过当前块的空间相邻像素与参考块的空间相邻像素估计当前块和参考块的线性关系进行加权预测。

线性加权预测对于视频在时域发生平动时，能高效提高预测效率。然而实际情况中视频内容存在复杂的仿射运动、物体遮挡、光照变化等现象，基于简单的线性加权预测产生的预测残差会与纹理结构有较高的相关性。近年研究人员提出基于神经网络的运动补偿技术，将参考块作为网络的输入，利用神经网络提取图像内容的纹理特性从而对多参考块的像素自适应融合。另外，考虑到像素空间的相关性，部分研究工作也将空间相邻像素和参考块作为网络的输入提高编码效率。

发明内容

由于视频帧预测技术中来自不同时间参考帧或不同视点参考帧的多个参考块与当前块的相似度存在一定差异，为相似度高的参考块分配更多的权重，能提高预测效率。本发明提出一种基于神经网络的预测块生成方法及装置，通过输入参考块与当前块的相似度图到神经网络，可以达到进一步提高编码性能的效果。在视频编解码过程中，预测块可以直接作为重建块，也可以用于运动补偿环节得到重建块。

本发明的设计思路在于：参考帧和当前帧相似度能在基于神经网络的预测像素合成过程中对相似度高的参考块分配更多的权重，从而提高预测的准确度。

本发明的第一个方面提供了一种基于神经网络的预测块生成方法，包括：

至少将以下信息输入到卷积神经网络：

待预测区域的参考块集合，所述参考块集合包括两个以上参考块；

以及所述参考块集合中的至少一个参考块与所述待预测区域的相似度图；

使用卷积神经网络处理输入信息；

由以下方法之一得到所述待预测区域的预测块：

直接由所述卷积神经网络的输出得到；或者

由所述卷积神经网络的输出与所述待预测区域的第一预测块相加得到，所述第一预测块由参考块集合中的部分或全部参考块线性加权得到。

进一步的，使用卷积神经网络处理输入信息包括：

使用所述卷积神经网络的第一子网络处理至少包含参考块集合的输入信息；

使用所述卷积神经网络的第二子网络处理至少包含第一子网络未处理的输入信息；