[发明专利]一种基于结构特征的重定位立体图像质量评价方法

权利要求书

1.一种基于结构特征的重定位立体图像质量评价方法，其特征在于包括以下步骤：

步骤一：令S_org表示原始的立体图像，令S_ret表示S_org对应的重定位立体图像；将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_ret的左视点图像记为{L_ret(x',y)}，将S_ret的右视点图像记为{R_ret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示S_org的宽度，W'表示S_ret的宽度，H表示S_org和S_ret的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_ret(x',y)表示{L_ret(x',y)}中坐标位置为(x',y)的像素点的像素值，R_ret(x',y)表示{R_ret(x',y)}中坐标位置为(x',y)的像素点的像素值；

步骤二：根据{L_org(x,y)}与{R_org(x,y)}之间的双向匹配关系，获得S_org的虚拟视点图像，记为{V_org(x,y)}；同样，根据{L_ret(x',y)}与{R_ret(x',y)}之间的双向匹配关系，获得S_ret的虚拟视点图像，记为{V_ret(x',y)}；其中，V_org(x,y)表示{V_org(x,y)}中坐标位置为(x,y)的像素点的像素值，V_ret(x',y)表示{V_ret(x',y)}中坐标位置为(x',y)的像素点的像素值；

步骤三：采用SIFT-Flow方法建立{V_org(x,y)}与{V_ret(x',y)}之间的匹配关系，得到{V_org(x,y)}中的每个像素点的SIFT-Flow向量，将{V_org(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为v_o(x,y)，然后根据{V_org(x,y)}中的所有像素点的SIFT-Flow向量，从{V_org(x,y)}中重构得到虚拟视点图像，记为将中坐标位置为的像素点的像素值记为再找出中的所有空洞像素点，并将值0作为中的每个空洞像素点的像素值；其中，用于表示水平方向，用于表示垂直方向，表示v_o(x,y)的水平偏移量，表示v_o(x,y)的垂直偏移量，表示中坐标位置为(x',y)的像素点的像素值，中的“＝”为赋值符号；

同样，采用SIFT-Flow方法建立{V_ret(x',y)}与{V_org(x,y)}之间的匹配关系，得到{V_ret(x',y)}中的每个像素点的SIFT-Flow向量，将{V_ret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为v_r(x',y)，然后根据{V_ret(x',y)}中的所有像素点的SIFT-Flow向量，从{V_ret(x',y)}中重构得到虚拟视点图像，记为将中坐标位置为的像素点的像素值记为再找出中的所有空洞像素点，并将值0作为中的每个空洞像素点的像素值；其中，表示v_r(x',y)的水平偏移量，表示v_r(x',y)的垂直偏移量，表示中坐标位置为(x,y)的像素点的像素值，中的“＝”为赋值符号；

步骤四：采用超像素分割技术将{V_org(x,y)}分割成Num个互不重叠的六边形网格，将{V_org(x,y)}中的第h个六边形网格构成的区域记为SP_org,h，SP_org,h以其6个网格顶点构成的集合来描述，其中，Num≥1，1≤h≤Num，对应表示SP_org,h的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，

然后根据{V_org(x,y)}中的每个六边形网格构成的区域的6个网格顶点的SIFT-Flow向量，确定{V_org(x,y)}中的每个六边形网格在{V_ret(x',y)}中匹配的六边形网格，将{V_org(x,y)}中的第h个六边形网格在{V_ret(x',y)}中匹配的六边形网格构成的区域记为SP_ret,h，SP_ret,h以其6个网格顶点构成的集合来描述，其中，对应表示SP_ret,h的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V_org(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量；

步骤五：采用基于图论的视觉显著模型提取出{V_org(x,y)}的显著图，记为{Z_org(x,y)}；其中，Z_org(x,y)表示{Z_org(x,y)}中坐标位置为(x,y)的像素点的像素值；

然后根据{Z_org(x,y)}和{V_org(x,y)}中的所有像素点的SIFT-Flow向量，从{Z_org(x,y)}中重构得到{V_ret(x',y)}的显著图，记为{Z_ret(x',y)}，将{Z_ret(x',y)}中坐标位置为的像素点的像素值记为其中，Z_ret(x',y)表示{Z_ret(x',y)}中坐标位置为(x',y)的像素点的像素值，中的“＝”为赋值符号；

步骤六：根据{Z_org(x,y)}提取出{V_org(x,y)}的重要性区域掩码图，并根据{Z_ret(x',y)}提取出{V_ret(x',y)}的重要性区域掩码图；然后根据两幅重要性区域掩码图，计算{V_org(x,y)}中的每个六边形网格在{V_ret(x',y)}中匹配的六边形网格构成的区域的局部信息保持特征，进而计算{V_ret(x',y)}的局部信息保持特征；通过计算{V_ret(x',y)}和各自中的所有像素点的亮度分量的直方图，计算{V_org(x,y)}的前向信息损失；并通过计算{V_org(x,y)}和各自中的所有像素点的亮度分量的直方图，计算的后向信息损失；再根据{V_ret(x',y)}的局部信息保持特征、{V_org(x,y)}的前向信息损失、的后向信息损失，获得{V_ret(x',y)}的空间结构特征矢量，记为F_G；其中，F_G的维数为1×3；

步骤七：根据{L_ret(x',y)}与{R_ret(x',y)}之间的视差图像，计算{L_ret(x',y)}中的每个像素点的深度值；然后根据{L_ret(x',y)}与{R_ret(x',y)}之间的视差图像，计算{L_ret(x',y)}与{R_ret(x',y)}之间的视差图像中的所有属于匹配区域的像素点的视差幅值特征和所有属于遮挡区域的像素点的相对宽度特征；并根据{L_ret(x',y)}与{R_ret(x',y)}之间的视差图像及{L_ret(x',y)}中的所有像素点的深度值，计算{L_ret(x',y)}与{R_ret(x',y)}之间的视差图像中的所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征和所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征；再根据{L_ret(x',y)}与{R_ret(x',y)}之间的视差图像中的所有属于匹配区域的像素点的视差幅值特征、所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征、所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征、所有属于遮挡区域的像素点的相对宽度特征，获得{V_ret(x',y)}的深度结构特征矢量，记为F_D；其中，F_D的维数为1×4；

步骤八：根据F_G和F_D，获取S_ret的结构特征矢量，记为F，F＝[F_G,F_D]；其中，F的维数为1×7，[F_G,F_D]表示将F_G和F_D连接起来形成一个特征矢量；

步骤九：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第j幅重定位立体图像的平均主观评分差值记为DMOS_j；并按照步骤一至步骤八的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的结构特征矢量，将重定位立体图像集合中的第j幅重定位立体图像的结构特征矢量记为F_j；其中，n'为正整数，n'＞1，n为正整数，n≥n'，j为正整数，1≤j≤n，DMOS_j∈[0,100]，F_j的维数为1×7；

步骤十：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的结构特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有结构特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造重定位立体图像的支持向量回归训练模型，记为s(F_inp)，其中，m为正整数，1≤m＜n，s()为函数表示形式，F_inp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的结构特征矢量，F_inp的维数为1×7，为的转置，表示重定位立体图像的支持向量回归训练模型的输入矢量F_inp的线性函数；

步骤十一：将测试集中的所有重定位立体图像的结构特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个结构特征矢量进行测试，预测得到测试样本数据集合中的每个结构特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第η个结构特征矢量对应的重定位立体图像的客观质量评价预测值记为Q_η，Q_η＝s(F_η)，其中，η为正整数，1≤η≤n-m，F_η表示测试样本数据集合中的第η个结构特征矢量，F_η的维数为1×7，表示F_η的线性函数；

步骤十二：重复执行步骤十至步骤十一共Number次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过Number次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，Number为正整数，Number≥100。