[发明专利]一种重定位立体图像质量评价方法

摘要

本发明公开了一种重定位立体图像质量评价方法，其计算重定位立体图像的左、右视点图像之间的视差图像中的所有遮挡像素点的相对宽度特征、所有匹配像素点的深度差特征和视差幅值特征及视差梯度特征，及计算左视点图像的长宽比相似性和右视点图像的长宽比相似性，得到重定位立体图像的特征矢量；在训练阶段利用支持向量回归对训练集中的特征矢量进行训练；在测试阶段利用构造的支持向量回归训练模型，得到测试集中的特征矢量对应的重定位立体图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能较好地反映重定位立体图像的深度感、舒适度和图像质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。

主权项

1.一种重定位立体图像质量评价方法，其特征在于包括以下步骤：步骤一：令S_org表示原始的立体图像，令S_ret表示S_org对应的重定位立体图像；将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_ret的左视点图像记为{L_ret(x',y)}，将S_ret的右视点图像记为{R_ret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示S_org的宽度，W'表示S_ret的宽度，H表示S_org和S_ret的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_ret(x',y)表示{L_ret(x',y)}中坐标位置为(x',y)的像素点的像素值，R_ret(x',y)表示{R_ret(x',y)}中坐标位置为(x',y)的像素点的像素值；步骤二：计算{L_ret(x',y)}与{R_ret(x',y)}之间的视差图像，记为{d_L(x',y)}，将{d_L(x',y)}中坐标位置为(x',y)的像素点的像素值记为d_L(x',y)，如果{L_ret(x',y)}中坐标位置为(x',y)的像素点在{R_ret(x',y)}中能找到匹配的像素点，则将{d_L(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令d_L(x',y)＝x'^*‑x'；如果{L_ret(x',y)}中坐标位置为(x',y)的像素点在{R_ret(x',y)}中不能找到匹配的像素点，则将{d_L(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令d_L(x',y)＝255；然后计算{d_L(x',y)}中的所有遮挡像素点的相对宽度特征，记为f₁，其中，x'^*表示{L_ret(x',y)}中坐标位置为(x',y)的像素点在{R_ret(x',y)}中能找到匹配的像素点的横坐标；采用K均值聚类方法对{L_ret(x',y)}中的所有像素点进行聚类分割，得到{L_ret(x',y)}的前景分割对象和背景分割对象，将由{L_ret(x',y)}的前景分割对象中的所有像素点的坐标位置构成的集合记为Ω_F，将由{L_ret(x',y)}的背景分割对象中的所有像素点的坐标位置构成的集合记为Ω_B；然后计算{d_L(x',y)}中的所有匹配像素点的深度差特征，记为f₂，其中，符号“||”为取绝对值符号，M_F表示{L_ret(x',y)}的前景分割对象中的像素点的总个数，M_B表示{L_ret(x',y)}的背景分割对象中的像素点的总个数；采用分层显著性检测模型提取出{L_ret(x',y)}的视觉显著图，记为{S_O(x',y)}；然后计算{d_L(x',y)}中的所有匹配像素点的视差幅值特征，记为f₃，并计算{d_L(x',y)}中的所有匹配像素点的视差梯度特征，记为f₄，其中，S_O(x',y)表示{S_O(x',y)}中坐标位置为(x',y)的像素点的像素值，Ω＝Ω_F∪Ω_B，如果x'+1≤W，则d_L(x'+1,y)表示{d_L(x',y)}中坐标位置为(x'+1,y)的像素点的像素值；如果x'+1＞W，则令d_L(x'+1,y)＝d_L(W,y)，d_L(W,y)表示{d_L(x',y)}中坐标位置为(W,y)的像素点的像素值；如果x'‑1≥1，则d_L(x'‑1,y)表示{d_L(x',y)}中坐标位置为(x'‑1,y)的像素点的像素值；如果x'‑1＜1，则令d_L(x'‑1,y)＝d_L(1,y)，d_L(1,y)表示{d_L(x',y)}中坐标位置为(1,y)的像素点的像素值；如果y+1≤H，则d_L(x',y+1)表示{d_L(x',y)}中坐标位置为(x',y+1)的像素点的像素值；如果y+1＞H，则令d_L(x',y+1)＝d_L(x',H)，d_L(x',H)表示{d_L(x',y)}中坐标位置为(x',H)的像素点的像素值；如果y‑1≥1，则d_L(x',y‑1)表示{d_L(x',y)}中坐标位置为(x',y‑1)的像素点的像素值；如果y‑1＜1，则令d_L(x',y‑1)＝d_L(x',1)，d_L(x',1)表示{d_L(x',y)}中坐标位置为(x',1)的像素点的像素值；步骤三：采用长宽比相似性评价方法获取{L_org(x,y)}和{L_ret(x',y)}的客观评价预测值，记为f₅，f₅＝G(L_org,L_ret)；同样，采用长宽比相似性评价方法获取{R_org(x,y)}和{R_ret(x',y)}的客观评价预测值，记为f₆，f₆＝G(R_org,R_ret)；其中，G(L_org,L_ret)表示计算{L_org(x,y)}和{L_ret(x',y)}的长宽比相似性，G(R_org,R_ret)表示计算{R_org(x,y)}和{R_ret(x',y)}的长宽比相似性；步骤四：根据f₁、f₂、f₃、f₄、f₅和f₆，获取S_ret的特征矢量，记为F，F＝[f₁,f₂,f₃,f₄,f₅,f₆]；其中，F的维数为6×1，[f₁,f₂,f₃,f₄,f₅,f₆]表示将f₁,f₂,f₃,f₄,f₅,f₆连接起来形成一个特征矢量；步骤五：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第g₁幅重定位立体图像的平均主观评分差值记为；并按照步骤一至步骤四的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的特征矢量，将重定位立体图像集合中的第g₁幅重定位立体图像的特征矢量记为；其中，n'＞1，n≥n'，g₁为正整数，1≤g₁≤n，的维数为6×1；步骤六：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n‑m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt；再利用得到的最优的权重矢量w^opt和最优的偏置项b^opt，构造重定位立体图像的支持向量回归训练模型，记为f(F_inp)，其中，1≤m＜n，f()为函数表示形式，F_inp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的特征矢量，F_inp的维数为6×1，(w^opt)^T为w^opt的转置，表示重定位立体图像的支持向量回归训练模型的输入矢量F_inp的线性函数；步骤七：将测试集中的所有重定位立体图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位立体图像的客观质量评价预测值记为Q_q，Q_q＝f(F_q)，其中，q为正整数，1≤q≤n‑m，F_q表示测试样本数据集合中的第q个特征矢量，F_q的维数为6×1，表示测试样本数据集合中的第q个特征矢量F_q的线性函数；步骤八：重复执行步骤六至步骤七共Q次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过Q次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，Q≥100。