[发明专利]基于扩散距离高置信度信息的图像显著性物体检测方法

摘要

本发明涉及一种基于扩散距离高置信度信息的图像显著性物体检测方法，属于计算机图像处理中显著性检测技术领域。首先计算图像的超像素，并在图像空间和特征空间构建图，在不同的扩散时间下，基于图计算每个超像素到图像边界的最小扩散距离，得到多尺度显著性图，将多尺度显著性图加权融合得到高置信显著性图，同时利用基于最小生成树的实时显著性物体检测方法得到距离图；之后从高置信前景图和距离图中提取初始化信息，迭代地使用抓割方法得到显著性物体图，并在每次迭代过程中改善初始化信息，从而逐步得到准确的显著性物体检测结果。本方法增强了检测结果对噪声的鲁棒性，可从图像中提取出既准确又完整的显著性物体。

主权项

基于扩散距离高置信度信息的图像显著性物体检测方法，其特征在于该方法包括以下步骤：(1)利用超像素方法将待检测图像分割成N个超像素，分别构建特征空间图结构和图像空间图结构，具体过程如下：(1‑1)利用超像素方法将待检测图像分割成N个超像素；(1‑2)设上述N个超像素中的任意一个超像素的颜色特征为超像素中所有像素的平均lab颜色，记为c，设上述N个超像素中的任意一个超像素的位置特征为超像素中所有像素在图像空间中的平均位置，记为s；建立一个由上述平均lab颜色和上述平均位置组成的特征空间，利用下式，计算该特征空间中第i个超像素和第j个超像素之间的亲和度a(i,j)：a(i,j)=e-(|ci-cj|22σc2+|si-sj|22σs2),]]>其中，σc和σs分别为颜色约束系数和空间约束的系数，ci和cj分别表示第i个超像素的平均lab颜色和第j个超像素的平均lab颜色，si和sj分别表示第i个超像素的平均位置和第j个超像素的平均位置，e为自然对数；以上述N个超像素为节点，根据上述亲和度a(i,j)，构建一个特征空间图结构，该图结构中的每个超像素与亲和度最大的8个超像素相连，特征空间图结构的边权重为a(i,j)；(1‑3)在上述待检测图像的N个超像素中，使相邻两个超像素或享有相同邻居的超像素相连，并使待检测图像边界的所有超像素相连，所有相连的边和所有超像素构建一个图像空间图结构，利用下式计算图像空间图结构中第i个超像素和第j个超像素之间的亲和度b(i,j)：b(i,j)=e-|fi-fj|22σf2,]]>其中，σf为颜色约束系数，fi表示第i个超像素的平均lab颜色，e为自然对数，图像空间图结构的亲和度b(i,j)即为图像空间图结构的边权重；(2)在上述特征空间图结构和图像空间图结构中分别计算扩散距离，具体过程如下：(2‑1)根据上述特征空间图结构的边权重，构建一个特征空间图结构的邻接矩阵A1，对邻接矩阵A1中的每行元素进行归一化处理，使得每行元素的和为1，得到一个特征空间图结构的转移矩阵M1，计算得到转移矩阵M1的特征值λ和特征向量ψ；根据特征值λ和特征向量ψ，利用下式，计算第g个超像素的映射向量Yt(g)：Yt(g)=(λ1tψ1(g),λ2tψ2(g),...,λNtψN(g))]]>其中ψk(g)表示特征向量ψ中第k个特征向量的第g个值，λk表示特征值λ中第k个特征值，g＝1,2,3,…,i,j,…,N，t表示扩散时间，根据上，述计算的映射向量，利用下式，计算特征空间图结构中第i个超像素和第j个超像素之间的扩散距离D1(i,j)；D1(i,j)＝|Yt(i)‑Yt(j)|2其中|·|2表示欧式距离计算方法；(2‑2)根据上述图像空间图结构的边权重，构建一个图像空间图结构的亲和矩阵A2，对矩阵A2中的每行元素进行归一化处理，使得每行元素的和为1，得到一个图像空间图结构转移矩阵M2，计算矩阵M2的特征值γ和特征向量θ，利用下式，计算第i个超像素的映射向量Wu(i)：Wu(i)=(γ1uθ1(i),γ2uθ2(i),...,γNuθN(i))]]>其中θl(i)表示第l个特征向量中的第i个值，γl表示第l个特征值，u表示扩散时间，根据上述计算的映射向量，利用下式，计算图像空间图结构中第i个超像素和第j个超像素之间的扩散距离D2(i,j)；D2(i,j)＝|Wu(i)‑Wu(j)|2其中|·|2表示欧式距离计算方法；(3)以扩散时间为尺度，分别计算不同扩散时间上述特征空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：(3‑1)设定一组扩散时间，第一个选取的扩散时间为40～60，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；(3‑2)在上述选取的扩散时间下，利用上述步骤(2‑1)的计算公式，分别计算上述步骤(1‑2)特征空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历特征空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；(3‑3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3‑2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到特征空间图结构中不同尺度下的显著性图，即为特征空间图结构的多尺度显著性图；(4)以扩散时间为尺度，分别计算不同扩散时间上述图像空间图结构中的每个超像素到图像边界超像素的最小扩散距离，得到不同尺度下的显著性图，具体过程如下：(4‑1)设定一组扩散时间，第一个选取的扩散时间为40～60，每间隔150～250为第二个选取的扩散时间、第三个选取的扩散时间，以此类推；(4‑2)在上述选取的扩散时间下，利用上述步骤(2‑2)的计算公式，分别计算上述步骤(1‑3)图像空间图结构任意一个超像素到所有图像边界超像素的扩散距离，将该扩散距离中的最小值作为该超像素的显著性值，遍历图像空间图结构中的所有超像素，重复本步骤，得到所有超像素的显著性值，将所有超像素的显著性值组合起来，得到当前扩散时间下的显著性图；(4‑3)分别在上述选取的每个扩散时间下计算显著性图，直至选取的扩散时间大于400～600，或上述步骤(3‑2)计算得到的最小扩散距离小于0.0003，结束计算，每个扩散时间代表一个尺度，得到图像空间图结构中不同尺度下的显著性图，即为图像空间图结构的多尺度显著性图；(5)根据上述步骤(3‑3)的特征空间图结构多尺度显著性图和步骤(4‑3)的图像空间图结构多尺度显著性图，计算得到高置信显著性图Shc，包括以下步骤：(5‑1)将上述步骤(3‑3)的特征空间图结构多尺度显著性图和步骤(4‑3)的图像空间图结构多尺度显著性图进行组合，得到多尺度显著性图集合S；(5‑2)利用下式，计算待检测图像中第i个超像素和第k个超像素的颜色距离Dc(i,k)：Dc(i,k)=Σm=1niΣn=1nkhi,mhk,n|pi,m,pk,n|2]]>其中ni和nk分别表示超像素i内像素的颜色个数和超像素k内像素的颜色个数，hi,m表示第i个超像素中第m种颜色的像素个数比例，hk,n表示第k个超像素中第n种颜色的像素个数比例，pi,m表示第i个超像素中的第m种颜色，pk,n表示第k个超像素中的第n种颜色，|·|2表示欧式距离计算方法；根据上述计算的超像素颜色距离，利用下式，计算第i个超像素的对比度值G(i)：G(i)=Σi≠ke-Ds(i,k)2σdω(k)Dc(i,k)]]>其中，ω(i)表示第i个超像素的像素个数，Ds(i,k)表示第i个超像素的平均位置与第k个超像素的平均位置之间的欧式距离，σd表示空间约束系数；重复上述过程，得到所有待检测图像的超像素对比度值；将待检测图像中每个超像素的所有对比度值进行组合，得到待检测图像的超像素对比度图GM；(5‑3)设上述步骤(5‑1)的多尺度显著性图集合S中的第v个显著性图为Sv，根据上述步骤(5‑2)得到的待检测图像的超像素对比度图GM，利用下式，计算显著性图Sv的可信度C(v)：C(v)=GM·Svsum]]>其中·表示点积，sum为显著性图Si中所有元素的和；根据上述计算得到的显著性图Si的可信度C(v)，利用下式，计算显著性图Sv的加权融合权重w(v)：w(v)＝e10C(v)‑1其中，e为自然对数；遍历多尺度显著性图集合S中所有的显著性图，重复上述过程，分别得到多尺度显著性图集合S中每个显著性图的融合权重w(v)；(5‑4)根据上述计算得到的加权融合权重，利用下式，对多尺度显著性图集合S中的所有显著性图进行加权融合，得到高置信显著性图Shc；Shc=1ZΣvwvSv]]>其中，Z表示多尺度显著性图集合S中所有显著性图的加权融合权重的和；(6)根据上述高置信前景图Shc，计算得到待检测图像显著性物体检测结果，包括以下步骤：(6‑1)将上述高置信前景图Shc中的元素归一化到区间[0,255]，将元素值大于200的超像素作为前景种子点Fseeds；(6‑2)利用基于最小生成树的实时显著性物体检测方法，将待检测图像构建成一个最小生成树，在最小生成树上，分别计算待检测图像中所有像素到待检测图像边界的最小障碍距离，根据所有最小障碍距离，得到距离图Md，将Md中的元素归一化到区间[0,255]，将元素值小于40的超像素作为背景种子点Bseeds；(6‑3)将待检测图像中除前景种子点和背景种子点以外的其他像素初始化为初步前景点；(6‑4)将上述步骤(6‑1)前景种子点包含的所有像素和上述步骤(6‑3)的初步前景点包含的所有像素组合成前景像素集合F，将前景像素集合F构建成一个前景颜色高斯混合模型GMMF；设待检测图像中除上述前景像素集合F以外的其他像素为背景像素集合B，将背景像素集合B构建成一个背景颜色高斯混合模型GMMB；(6‑5)利用抓割方法，分别计算上述步骤(6‑4)中的前景像素集合F中所有像素在上述前景颜色高斯混合模型GMMF中所属的前景高斯分量索引值，根据上述前景像素集合F中所有像素的高斯分量索引值和前景像素集合F中每个像素的颜色，计算每个前景高斯分量模型，得到新的前景颜色高斯混合模型，记为GMMFnew；分别计算上述步骤(6‑4)中的背景像素集合B中所有像素在上述背景颜色高斯混合模型GMMB中所属的背景高斯分量索引值，根据上述背景像素集合B中所有像素的高斯分量索引值和背景像素集合B中每个像素的颜色，计算每个背景高斯分量模型，得到新的背景颜色高斯混合模型，记为GMMBnew；设待检测图像中上述步骤(6‑4)的前景像素集合F中像素的标签为1，设待检测图像中上述步骤(6‑4)的背景像素集合B中像素的标签为0；设FS为虚拟前景点，虚拟前景点FS的标签为1，设BT为虚拟背景点，虚拟背景点BT的标签为0，将虚拟前景点FS、虚拟背景点BT和待检测图像中的所有像素构建成一个割图CG，割图CG中，待检测图像的每个像素与像素周围相邻的8个像素相连，设待检测图像中第q个像素Pq与待检测图像中第r个像素Pr相邻，利用下式，计算像素PXs与像素PXr之间的边权重δ(Pq,Pr)：δ(Pq,Pr)=k×e-50×|CPq-CPr|22]]>其中CPq表示像素Pq的lab颜色，CPr表示像素Pr的lab颜色，e表示自然对数，|·|2表示欧式距离计算方法，当像素Pq与像素Pr在水平方向或者垂直方向相邻时，κ取值为50，当像素Pq与像素Pr斜向相邻时，κ取值为割图CG中，待检测图像的每个像素都上述虚拟前景点FS相连，对待检测图像中的第q个像素Pq进行判断，若前景种子点中包含Pq，则设定Pq与上述虚拟前景点FS之间的边权重为一个常数β,本发明的一个实施例中β取值为450；若背景种子点中包含Pq，则Pq与上述虚拟前景点FS之间的边权重为一个常数τ,本发明的一个实施例中τ取值为0；若Pq既不属于前景种子点又不属于背景种子点，则利用下式，计算Pq在上述前景颜色高斯混合模型GMMFnew中的概率值pvf(q)，pvf(q)=Σu=1GCFξfg(u)Profg(u,q)]]>其中GCF表示上述前景颜色高斯混合模型GMMFnew的高斯分量个数，ξfg(u)表示上述前景颜色高斯混合模型GMMFnew中第u个前景高斯分量的混合系数，Profg(u,q)表示像素Pq的颜色在上述前景颜色高斯混合模型GMMFnew中第u个前景高斯分量中的高斯分布概率；利用下式，计算Pq与上述虚拟前景点FS之间的边权重δ(Pq,FS)；δ(Pq,FS)＝‑ln(pvf(q))其中ln表示以自然对数e为底的对数函数；上述割图CG中的待检测图像中的每个像素都与上述虚拟背景点BT相连，对于待检测图像中的第q个像素Pq，若Pq属于前景种子点，则Pq与上述虚拟背景点BT之间的边权重为一个常数τ；若Pq属于背景种子点，则Pq与上述虚拟背景点BT之间的边权重为一个常数β；若Pq既不属于前景种子点又不属于背景种子点，则利用下式，计算Pq在上述背景景颜色高斯混合模型GMMFnew中的概率值pvb(q)，pvb(q)=Σu=1GCBξbg(u)Probg(u,q)]]>其中GCB表示上述背景颜色高斯混合模型GMMBnew的高斯分量个数，ξbg(u)表示上述背景颜色高斯混合模型GMMFnew中第u个背景高斯分量的混合系数，Probg(u,q)表示像素Pq的颜色在上述背景颜色高斯混合模型GMMBnew中第u个背景高斯分量中的高斯分布概率；利用下式，计算Pq与上述虚拟背景点BT之间的边权重δ(Pq,BT)；δ(Pq,BT)＝‑ln(pvb(q))其中ln表示以自然对数e为底的对数函数；在上述割图CG中，以上述虚拟前景点FS为源点，以上述虚拟背景点BT为汇点，利用最大流最小割方法，将上述割图CG分割成包含上述虚拟前景点FS的子图FG和包含上述虚拟背景点BT的子图BG；将上述子图FG内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为1，将上述子图BG内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为0，将待检测图像中的前景种子点包含的所有像素的标签设为1，将待检测图像中的背景种子点包含的所有像素的标签设为0，得到当前显著性物体图R，将本次显著性物体图R与上次显著性物体图R进行比较，若本次显著性物体图R与上次显著性物体图R中相同位置且标签不同的像素个数小于50，则迭代终止，将本次显著性物体图R中标签为1的像素作为最终的显著性物体检测结果进行输出；若本次显著性物体图R与上次显著性物体图R中相同位置且标签不同的像素个数大于或等于50，则进入步骤(6‑6)；(6‑6)对上述步骤中的待检测图像中前景种子点包含的所有像素组成的区域进行形态学腐蚀操作，被腐蚀的前景种子点被标记为初步前景点，对待检测图像中距离图像边界M个像素宽度以上的背景种子点包含的所有像素组成的区域进行形态学腐蚀操作，被腐蚀的背景种子点被标记为初步背景点，初步背景点包含的所有像素的标签设为0；(6‑7)利用步骤(6‑5)中的计算方法，分别计算步骤(6‑6)中前景种子点中的每个像素在前景颜色高斯混合模型GMMFnew中的概率值pvf和在背景高斯混合模型中的概率值pvb，对两个概率值进行比较，若pvf‑pvb<∧，则将此种子点改为初步前景点；若pvf‑pvb≥∧，则维持原状；本发明的一个实施例中∧取值为‑0.06，分别计算上述得到的背景种子点中的每个像素在前景颜色高斯混合模型GMMFnew中的概率值pvf和在背景高斯混合模型中的概率值pvb，若pvb‑pvf<∧，则将此种子点改为初步背景点；若pvb‑pvf≥∧，则维持原状：(6‑8)返回步骤(6‑5)，完成待检测图像的显著性物体检测。