[发明专利]一种基于深度图像渲染的立体混合最小可感知失真模型

说明书

技术领域

本发明属于立体图像处理技术领域，涉及一种基于深度图像渲染(DepthImage-basedRendering，DIBR)的视频编码技术，尤其涉及一种基于深度图像渲染的立体混合最小可感知失真(HybridJustNoticeableDistortion，HJND)模型。

背景技术

在立体电视与自由视点视频中，立体感知为人们带来了更有沉浸感、更舒适的视觉体验，同时也引入了大量的视频数据，从而使目前的立体视频编码技术面临着极大的挑战。为了突破编码效率的挑战，基于深度图的虚拟视点合成技术被提出，彩色解码视频与相应深度视频作为输入，采用3Dwarping的方法合成出虚拟视点的彩色视频，实现自由视点立体视频显示。

3Dwarping将二维图像坐标映射至三维世界坐标系，其中，深度图提供了相应的几何信息，然后将三维世界坐标映射至需要进行立体显示的视点。随后，立体感知效果由虚拟视点视频与参考视点视频(参考视点视频解码得到)合成得到。为了在保证立体感知效果的同时提高编码效率，人眼感知已被嵌入至多视点彩色视频加深度视频(Multi-viewVideoplusDepth，MVD)的编码框架中。

在传统的视频编码技术中，依靠客观质量来评价编码效率及解码视频质量，如PSNR值，而视频的最终接收者为人眼，对于视频编码而言，仅评价客观质量的方式忽略了视频中存在的视觉冗余。心理生理学家Itti提出的人眼显著度模型构建了人眼对一幅图像中不同内容的感兴趣程度的差异。例如，新闻播报视频中，人眼对主播更感兴趣，而对背景区域不感兴趣。基于显著度模型，视频编码为视频中的人眼感兴趣区域分配更多码率，而为不感兴趣区域分配更少码率，最终在不降低人眼主观感受质量的前提下，达到节省编码码率的目的。另外，心理学家研究表明，人眼无法察觉到图像内容的轻微变化，如为高清视频或图像加入高斯噪声，噪声量低于阈值时，人眼无法感知到高斯噪声图像与原始图像的差异，该阈值即为最小可感知失真(JustNoticeableDistortion，JND)。

在传统视频编码中，去除人眼无法感知的视觉冗余为有效的提高编码效率的技术，研究表明，在同等主观质量条件下，利用JND指导去除残差中的视觉冗余可节省编码码率。同样，在立体视频感知编码中，立体视频恰可感知失真效应被众多学者引入到了立体视频编码的框架中。人眼无法感知到残差中小于3DJND阈值的部分，因此，小于3DJND阈值的残差将不被编码、传输至解码端。通过减少所需传输的残差量，节省编码码率，从而提升立体视频的编码效率。

现有的立体视频的JND模型均未考虑双眼之间的竞争或融合等视觉特性对掩蔽效应的影响，仅针对立体视频中的单个视点图像有效，且只考虑了影响主观感受质量的某个因素，无法准确反映人眼对立体视频的失真感知情况，使其在应用于编码时仍有大量视觉冗余未被去除。因此，本发明将对立体感知中的立体JND模型进行研究，解决前沿技术中还存在的问题。

发明内容

本发明的目的是克服现有技术的不足，提供了一种基于深度图像渲染的立体混合最小可感知失真模型，来提高立体视频编码效率。

本发明所采用的技术方案是：一种基于深度图像渲染的立体混合最小可感知失真模型，其特征在于，包括以下步骤：

步骤1：计算输入图像的2D最小可感知失真值，其具体实现是通过对输入图像的亮度自适应因子和纹理掩蔽因子的非线性相加，并减去亮度自适应因子与纹理掩蔽因子之间的重叠效应；

步骤2：计算输入图像的深度掩蔽度，其具体实现是通过对输入图像的归一化深度强度对比和归一化深度梯度对比线性相加后，与深度强度值相乘获得最终的深度掩蔽度；

步骤3：计算输入图像的几何失真，其具体实现是通过计算输入图像的立体图像表面之间的豪斯道夫距离而得到；

步骤4：计算输入图像的立体混合最小可感知失真值，其具体实现是将步骤2和步骤3中得到的深度掩蔽度和几何失真与立体混合最小可感知失真值之间的指数关系，与步骤1得到的2D最小可感知失真值相乘得到立体混合最小可感知失真值。

作为优选，步骤1中所述的计算输入图像的2D最小可感知失真值JND_2d(x,y)，其计算公式为：

JND_2d(x,y)＝LA(x,y)+CM(x,y)-C^LC(x,y)·min{LA(x,y),CM(x,y)}；