[发明专利]一种基于人眼立体视觉特性的立体图像显著性检测方法

权利要求书

1.一种基于人眼立体视觉特性的立体图像显著性检测方法，其特征在于，该方法具体包括以下步骤：

步骤一：显著特征提取：从立体图像的二维、深度两个不同维度的视图信息进行显著性计算，分别提取二维显著区域和深度显著区域；

其中提取二维显著区域具体包括以下步骤：

首先采用SLIC算法对立体视图的左视图进行预处理，通过区域分割获取超像素区域并进行区域相似性合并，然后，再采用GBVS模型进行二维显著性计算，具体步骤为：

a)采用SLIC算法对输入左视图进行超像素分割获取分割区域,具体公式如下：

$d_c=\sqrt{{(l_j-l_i)}^2+{(a_j-a_i)}^2+{(b_j-b_i)}^2}$

$d_s=\sqrt{{(x_j-x_i)}^2+{(y_j-y_i)}^2}$

$D_S=\sqrt{{\left(\frac{d_c}{m}\right)}^2+{\left(\frac{d_s}{S}\right)}^2}$

其中，(l_i,a_i,b_i)和(l_j,a_j,b_j)分别表示(x_i,y_i)和(x_j,y_j)两点在LAB颜色空间对应的三个分量，d_c表示两点在LAB颜色空间的距离，d_s表示两点在二维平面内的距离，m为表示迭代次数，默认值取10，S为类间最大空间距离，D_s为所求的距离度量；

将超像素分割后的立体图像左视图进行区域相似性合并；经过SLIC算法分割后，图像中的每个分割区域都拥有自己的种子点，基于计算相邻种子点的颜色特征相似性进行区域合并，将超像素图中的n个区域进行合并，得到标签图L^r(x,y)：

$\begin{array}{cc}{L}^r(x,y)=i& \∀(x,y)\∈R_i^r\end{array}$

其中，1≤i≤n，L^r(x,y)为标签图；

b)对区域相似性合并后的标签图采用GBVS算法对区域合并后的图像进行二维空间显著计算，该模型主要包括两步：

1.二维图像特征的提取：采用线性滤波以及非线性滤波提取图像的亮度颜色以及方向的低阶视觉特征；得到特征图M；

2.二维显著图的生成：

首先给定输入图像的一张特征图：M:[n]²→R，然后定义两个特征点之间的距离公式为：

$d\left(\right(i,j\left)\right|\left|\right(p,q\left)\right)\stackrel{\mathrm{\Δ}}{=}\left|log\frac{M(i,j)}{M(p,q)}\right|$

式中M(i,j)和M(p,q)分别代表节点(i,j)、(p,q)两点的相应特征值；将特征图M中的每一个像素点进行两两相连构建图G_A，然后计算出(i,j)和(p,q)这两个节点的有向边的相应权重大小：

${\mathrm{\ω}}_1\left(\right(i,j),(p,q\left)\right)\stackrel{\mathrm{\Δ}}{=}d\left(\right(i,j\left)\right|\left|\right(p,q\left)\right)\·F(i-p,j-q)$

$F(a,b)\stackrel{\mathrm{\Δ}}{=}\exp (-\frac{a^2+b^2}{2{\mathrm{\σ}}^2})$

式中σ为一个自定义参数，默认取值为图像宽度大小的0.1到0.15倍左右，反向边具有同样大小的权重值；首先将每个节点的有向边权重大小都归一化到0到1区间，然后在图G_A上定义一条马尔科夫链，通过马尔科夫链的均衡分布反映出每个特征节点之间的差异大小，即对应的显著值，进而得到二维显著图S_img：[n]²→R；

其中深度显著性计算，具体步骤为：

a)采用DERS软件根据输入的左视点图和右视点图计算出相应的原始视差图D；

b)对原始视差图D进行预处理，即首先计算原始视差图D中每行局部视差改变量，初步分离背景与物体：

$d_p^{\′}=d_p\·|d_p-{\stackrel{\‾}{d}}_r|$

其中，p表示视差图中的该点像素，d′_p和d_p分别表示预处理后p点像素的视差值和原始图中p点像素值，表示该行像素点的平均像素值，其中包括d_p；得到图像D′；

采用区域对比度算法用于进一步的目标背景的显著性计算，该算法主要包括两大部分：(1)先将图像D′进行图像区域分割，(2)然后计算D′中的每个区域R_i与周围其他区域的视差对比度并进行显著性赋值：

$S\left(R_i\right)=\underset{R_i\≠R_k}{\Σ}{n}_k{d}_R^{\′}(R_i,R_k)$

其中，S(R_i)代表区域R_i的显著值，n_i表示区域R_i的像素点个数，n_k表示区域R_k的像素点个数，d′_R(R_i,R_k)表示R_i和R_k两个区域之间的视差对比度大小：

$d_R^{\′}(R_i,R_k)=\frac{\underset{p\∈R_i,q\∈R_k}{\Σ}\mathrm{\ω}(p,q)\·d^{\′}(p,q)}{n_i{n}_k}$

其中，d′(p,q)表示p和q两点之间的视差差值，定义为|d′_p-d′_q|，ω(p,q)表示权重用来计算p和q两点之间的空间距离，其中σ'²为一个控制参数默认值取0.4，最后将计算后的图像归一化到[0,1]区间，基于屏幕前凸显的物体更为显著值进行显著性映射赋值：

$S_R^{\′}(x,y)=\frac{S_R(x,y)-S_{min}}{S_{max}-S_{min}}$

其中，S′_R(x,y)代表(x,y)像素点位置的映射显著值，S_max和S_min分别代表S_R(x,y)中的最大显著值以及最小显著值；得到视差显著图S′_R；

c)利用高斯差分滤波器提取重要的深度感知特征—深度对比度，实现公式下：

$G(x,y,{\mathrm{\σ}}^{\′\′})=\frac{1}{2{\mathrm{\π\σ}}^{\′\′2}}\[e^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^{\′\′2}}}-\frac{1}{K^2}e\frac{x^2+y^2}{2K^2{\mathrm{\σ}}^{\′\′2}}\]=G(x,y,{\mathrm{\σ}}^{\′\′})-G(x,y,{\mathrm{K\σ}}^{\′\′})$

其中(x,y)代表滤波器位置，σ”和K分别用来控制滤波器的尺度和高斯核的半径比；取σ”＝32，K＝1.6；得到深度对比度图S_E；

d)再将获取的视差显著图S′_R和深度对比度图S_E采用线性加权的融合的方式获取深度显著图S_dep：

S_dep＝w_rS′_R+w_eS_E

其中，w_r和w_e分别为视差显著图S′_R和深度对比度图S_E的权重，这里

w_r＝w_e＝0.5；

步骤二：显著特征融合

将提取的两种不同维度的显著特征图结合人眼视觉疲劳特性，采取线性加权的融合策略进行融合，进而获取立体图像的显著区域；

具体步骤如下：

S_SM(x,y)＝λ(γS_img(x,y)+(1-γ)S_dep(x,y))

其中，S_SM(x,y)，S_img(x,y)和S_dep(x,y)分别表示立体图像显著图，二维空间显著图和深度显著图，γ表示权重默认初始值设为0.5，λ参数表示像素点的视觉舒适特征：

$\mathrm{\λ}=\left\{\begin{array}{cc}1-\frac{|d_p(x,y)-T_{neg}|}{T_{pos}-T_{neg}}& d_p(x,y)\<T_{neg}\\ 1& T_{neg}\≤d_p(x,y)\≤T_{pos}\\ 1-\frac{d_p(x,y)-T_{pos}}{T_{pos}-T_{neg}}& d_p(x,y)\>T_{pos}\end{array}\right.$

其中，T_neg和T_pos表示视差舒适区域的区域门限值，具体大小值通过实验统计手动设置。