[发明专利]基于内容感知的不同立体显示设备的视差调整方法

权利要求书

1.一种基于内容感知的不同立体显示设备的视差调整方法，其特征是，首先使用均匀网格细 胞划分立体图像对，之后建立视差映射来控制并且重定位立体场景深度，接下来建立视差 编辑和图像内容编辑之间的关系来指导提出的变形模型，最后，使用立体网格变形模型避 免显著区域的失真的同时将视差调整到目标范围。

2.如权利要求1所述的基于内容感知的不同立体显示设备的视差调整方法，其特征是，建立 视差映射来控制并且重定位立体场景深度具体步骤是，

首先使用均匀网格细胞划分立体图像对，之后建立视差映射来控制并且重定位立体场 景深度，具体步骤是，

1)网格划分

使用均匀网格细胞M_m×n＝(V,E,F)划分图像，其中m×n表示网格细胞的个数，V，E 和F分别表示顶点、边和四边形的集合，相应地立体图像对的右图网格通过顶点匹配获得， 其中，v_i,j,k，V_i,j,k分别表示原始网格和变形网格中网格细胞的顶点坐标，其中i表示网格 细胞横坐标的索引值，j表示网格细胞纵坐标的索引值，k表示立体图像对左右网格的索 引值，且i＝1,…,m；j＝1,…,n；k＝l,r，其中l表示左网格，r表示右网格；

2)视差映射

建立视差映射该视差映射将原始范围Ω＝[d_min,d_max]映射到目标范围 Ω'＝[[d'_min,d'_max]]，视差映射的公式如下：

其中，表示视差映射，K表示视差缩放因子，d_min表示原始视差的最小值，d_max表示原始视差的最大值，d'_min表示目标视差的最小值，d'_max表示目标视差的最大值， d_i,j＝v_i,j,r-v_i,j,l表示原始视差。

3.如权利要求1所述的基于内容感知的不同立体显示设备的视差调整方法，其特征是，建立 视差编辑和图像内容编辑之间的关系来指导提出的变形模型具体步骤是，建立视差编辑和 图像内容编辑之间的关系，该关系可以在避免视觉失真的同时将视差调整到目标范围，并 且该关系会为后续的图像变形提供指导：

假定四边形(i,j)的内容发生形状失真，并且定义缩放因子s_f，立体图像对的左图和 立体图像对的右图的网格细胞的原始顶点和变形顶点之间的关系表示如下：

Vi,j,l-Vi+1,j,l=sf(vi,j,l-vi+1,j,l)Vi,j,l-Vi,j+1,l=sf(vi,j,l-vi,j+1,l)Vi+1,j,l-Vi+1,j+1,l=sf(vi+1,j,l-vi+1,j+1,l)Vi,j+1,l-Vi+1,j+1,l=sf(vi,j+1,l-vi+1,j+1,l)]]>

Vi,j,r-Vi+1,j,r=sf(vi,j,r-vi+1,j,r)Vi,j,r-Vi,j+1,r=sf(vi,j,r-vi,j+1,r)Vi+1,j,r-Vi+1,j+1,r=sf(vi+1,j,r-vi+1,j+1,r)Vi,j+1,r-Vi+1,j+1,r=sf(vi,j+1,r-vi+1,j+1,r)]]>

为了调整视差，变形后的网格顶点视差表示如下：

为了将视差调整到目标区域的同时避免视觉失真，变形顶点应同时满足上述公式，经 上述公式推导出来的公式如下：

(Vi,j,r-Vi+1,j,r)-(Vi,j,l-Vi+1,j,l)=sf(vi,j,r-vi+1,j,r)-sf(vi,j,l-vi+1,j,l)=sf(di,j-di+1,j)]]>

因此，当显著内容缩放因子s_f和视差缩放因子K相等时，变形的顶点可以在满足视 差映射的同时避免视觉失真，显著内容缩放因子和视差缩放因子之间的关系为后续的图像 网格变形提供指导。

建立网格变形模型，实现将视差调整到目标范围的同时避免显著区域发生失真：网格 变形通过解决包括视差调整能量和形状保持能量在内的能量最小化问题来实现，能量项的 详细表述如下：

视差调整项：

顶点视差应满足视差映射公式，视差调整能量项定义如下：

其中E_d表示视差调整能量，表示第2步中的视差映射；

形状保持项：

为避免图像显著区域发生失真，对每一个原始网格细胞缩放后的网格细胞计算形状失 真能量。网格细胞的变形能量项定义如下：

Ei,j=||(Vi,j,l-Vi,j+1,l)-sf(vi,j,l-vi,j+1,l)||2+||(Vi,j,l-Vi+1,j,l)-sf(vi,j,l-vi+1,j,l)||2+||(Vi,j+1,l-Vi+1,j+1,l)-sf(vi,j+1,l-vi+1,j+1,l)||2+||(Vi+1,j,l-Vi+1,j+1,l)-sf(vi+1,j,l-vi+1,j+1,l)||2]]>

其中，E_i,j表示网格细胞的变形能量；

缩放因子s_f取决于视差缩放因子K，所有网格细胞变形总能量为所有网格细胞变形 能量的总和，网格细胞变形总能量的计算公式如下：

Ef=Σ{i,j}∈E(f)wi,j·Ei,j]]>

其中，E_f表示网格细胞变形总能量，w_i,j表示网格显著值，f表示网格四边形，E(f) 表示网格四边形的边的结合。因为显著对象往往跨越多个相连的网格细胞，为防止这些网 格细胞发生失真，网格变形的过程中允许其长度发生改变而方向保持不变，其中l_ij用Wang (WangYS)提出的优化的缩放和拉伸方法获得，能量项公式表示如下：

Ele=Σ{i,j}∈E(f)||(Vi,le-Vj,le)-lij(vi,le-vj,le)||2]]>

其中，E_le表示网格线变形能量，l_ij表示变形后和变形前的边长的长度比；

立体图像对的左图形状保持项定义如下：

E_ls＝E_f+E_le

其中，E_ls表示立体图像对的左图的形状保持能量，E_f表示网格细胞变形总能量，E_le表示网格线变形能量；

立体图像对的右图的能量函数E_rs以相同的方式定义；

能量优化：

为获取V_i,j,l和V_i,j,r，使包含上述所有能量项的总能量保持最小，总能量计算公式如下：

E＝E_d+E_ls+E_rs

其中，E表示总能量，E_d表示表示视差调整能量，E_ls表示立体图像对的左图的形状 保持能量，E_rs表示立体图像对的右图的形状保持能量；

能量E是V_i,j,l和V_i,j,r的二次函数，使用稀疏线性求解器解决能量最小化问题，输出网 格确定后，使用双线性插值算法来获得最终的结果。