[发明专利]一种3D‑JND阈值计算方法

摘要

本发明公开了一种3D‑JND阈值计算方法，同时考虑人眼视觉系统在观看立体场景过程中遵循由远及近、由粗到细的多层次立体选择注意机制，以及双目立体视觉的双目抑制效应这两个因素进行3D‑JND建模。本发明因为同时考虑了多层次立体选择注意机制及双目立体视觉的双目抑制效应两个因素进行3D‑JND建模，因而相比较于传统的3D‑JND模型更符合人眼的立体视觉系统。本发明提出的计算方法，不但可以容纳更多的噪声，而且具有更好的视觉质量。该模型可以用于3D图像/视频的感知编码，以去除图像/视频中的视觉冗余。

主权项

一种3D‑JND阈值计算方法，其特征在于：同时考虑人眼视觉系统在观看立体场景过程中遵循由远及近、由粗到细的多层次立体选择注意机制，以及双目立体视觉的双目抑制效应这两个因素进行3D‑JND建模；包括：步骤S1：对原始的左视和右视图像分别使用传统2D‑JND模型获取左、右视图的JND基础阈值；步骤S2：根据输入图像的大小设置用于多层次选择特性建模的层次值L；步骤S3：考虑多层次立体选择注意机制，构建左右视图不同层次显著度计算所需要的彩色图像和深度图像，将原始左右视角彩色图像和其所对应的深度图像分别下采样到不同的分辨率，即原始图像分辨率的(1/2)0～L‑1倍大小；步骤S4：构建基于亮度、颜色以及深度特征的四元数，将颜色特征RG、BY及亮度特征I作为虚部，深度特征D作为实部，构造的四元数如下式所示：q(x,y)＝D(x,y)+RG(x,y)μ1+BY(x,y)μ2+I(x,y)μ3其中，D(x,y)为深度图在(x,y)点处的值，RG(x,y)、BY(x,y)、I(x,y)分别是点(x,y)处的红绿颜色特征值、蓝黄颜色特征值及亮度特征值，虚部单位满足μ2⊥μ3,μ1⊥μ3,μ3＝μ1μ2,μ1⊥μ2；步骤S5：在不同层次下，对所构建的四元数进行PQFT变换，以获取左右视角不同层次的显著图，并将左右视角不同分辨率下的显著图上采样到原始图像分辨率大小；步骤S6：使用大津法将每个层次的显著图分割为显著区域和非显著区域，再将所有分割后的显著图依照层次越小越重要的方式从大到小进行嵌套，得到多层次的显著分割图；步骤S7：建立多层次显著区域调制函数，对步骤S1得到的左右视图的基础JND阈值进行调制；步骤S8：考虑双目抑制效应，选择左右视角中一个作为辅视，基于辅视角的深度图及摄像机相关参数计算其对应视差图，并在此基础上对辅视图进行遮挡区域和非遮挡区域检测，得相应的分割图；步骤S9：针对步骤S8中辅视图的遮挡和非遮挡区域建立调制函数；遮挡区域使用低于1的调制因子以保证质量，对非遮挡区域建立依赖于深度值的调制函数；并对步骤S7得到的辅视JND阈值进一步进行分区域调制。