[发明专利]一种基于条件随机场的显著性检测优化方法

权利要求书

1.一种基于条件随机场的显著性检测优化方法，其特征在于，包括以下步骤：

步骤S1：提取输入图像集合中各图像的全局深度卷积特征；

步骤S2：根据全局深度卷积特征计算输入图像集合中两两图像之间的相似性；

步骤S3：根据图像之间的相似性对输入图像集合进行K-means聚类，形成k个相互独立的图像簇；

步骤S4：采用网格搜索方法计算每个图像簇的全连接条件随机场最优参数；

步骤S5：对于新的输入图像，判断其所属的图像簇，采用所属图像簇的全连接条件随机场最优参数对所述新的输入图像的显著性图进行优化；

所述步骤S1中，提取图像的全局深度卷积特征，包括以下步骤：

步骤S11：提取图像的局部深度卷积特征，该特征由图像识别深度网络的最后一层卷积层产生，对于输入的图像I，输出d维t×t的局部深度卷积特征f；

步骤S12：计算局部深度卷积特征的聚合权重，计算公式如下：

其中，α(x,y)表示图像I中像素点(x,y)的聚合权重，σ取图像中心与最近边界之间距离的1/3；

步骤S13：加权聚合局部深度卷积特征，得到初步全局特征，计算公式如下：

其中，表示图像I聚合后的初步全局特征，维数是d，W和H分别表示图像的宽度和高度，f(x,y)表示图像I中像素点(x,y)的局部深度卷积特征；

步骤S14：对进行L2规范化处理，计算公式如下：

其中，表示图像I规范化后的全局特征，维数是d；

步骤S15：将进行PCA降维和白化处理，得到n维的全局深度卷积特征nd，计算公式如下：

其中，M_PCA是一个n×d的PCA矩阵，v_i是关联奇异值，i∈{1,2,...,n}，diag(v₁,v₂,...,v_n)表示对角矩阵；

步骤S16：对进行L2规范化处理，得到最后的全局深度卷积特征计算公式如下：

所述步骤S2中，两两图像之间的相似性采用相应的全局深度卷积特征之间的点乘计算，计算公式如下：

其中，表示点乘运算，S(I_p,I_q)表示图像I_p和I_q之间的相似性，相似性的值越大表示图像I_p和I_q越相似，分别表示图像I_p、I_q的全局深度卷积特征；

所述步骤S3中，根据图像之间的相似性对输入图像集合进行K-means聚类，包括以下步骤：

步骤S31：随机选取k张图像为图像簇的中心，然后通过求解以下最优化问题计算其它图像I_i所属的图像簇c_i：

其中，U_r是图像簇的中心，r＝1,2,...,k，S(I_i,U_r)是图像I_i和图像簇的中心U_r之间的相似性，表示取与图像I_i相似性最大的图像簇的中心对应的图像簇，然后赋值给c_i，从而图像I_i属于该图像簇c_i；

步骤S32：每个图像簇的中心取该图像簇中所有图像的均值，形成新的中心，然后按步骤S31求解最优化问题的方法进行重新聚类；

步骤S33：不断迭代步骤S32，直到每个图像簇的中心不再改变，得到k个图像簇{C_r|r＝1,...,k}；

所述步骤S4中，采用网格搜索方法计算每个图像簇的全连接条件随机场最优参数，包括以下步骤：

步骤S41：对于每个图像簇中的每张图像，采用显著性检测算法生成显著性图；

步骤S42：对于每个图像簇中的每张图像，采用网格搜索方法遍历全连接条件随机场的能量函数的参数ω₁、ω₂、σ_α、σ_β、σ_γ的所有取值组合；能量函数的计算公式如下：

其中，L表示整张图像的显著标签，L∈{0,1}^W×H，{0,1}^W×H表示W×H个0或1的取值；E(L)表示显著标签L对应的能量函数，l_i和l_j分别表示显著标签L中像素点i和j的显著标签，取值为0表示不显著，取值为1表示显著；P(l_i)为像素点i是显著标签l_i的概率，取P(1)＝δ_i，P(0)＝1－δ_i，δ_i是显著性图中像素点i的显著性值；能量函数包括两个部分：第一部分为单元势函数，剩下的部分是成对势函数，包括两个核，第一个核是基于像素点距离和颜色差异的双边核，位置相近且颜色相似的像素点分配相近的显著性值，该核采用参数ω₁控制，像素点距离和颜色差异采用参数σ_α和σ_β控制；第二个核只依赖于像素点距离，目标在于改进原显著性图中小的孤立点，采用参数ω₂和σ_γ控制；μ(l_i,l_j)是判定函数，当l_i＝l_j时，取值为0，否则，取值为1；p_i和p_j分别表示像素点i和j的像素点位置；r_i和r_j分别表示像素点i和j的颜色值；所述参数ω₁、ω₂、σ_α、σ_β、σ_γ的取值范围均为整数集；

对于每张图像的参数ω₁、ω₂、σ_α、σ_β、σ_γ的每个参数取值组合，计算全连接条件随机场的能量函数的最小化问题：

表示取能量函数E(L)最小对应的显著标签L，然后赋值给显著标记L*；

对于每张图像的每个参数取值组合，根据求解出的显著标记L*计算图像中每个像素点的后验概率，从而生成优化后的显著性图；

步骤S43：采用准确率召回率曲线下面积PR-AUC这一显著性检测评估标准作为最优参数取值组合的判断依据，对于每个图像簇，计算每种参数取值组合下该图像簇中所有图像优化后显著性图的平均PR-AUC值，取PR-AUC值最高的参数取值组合作为该图像簇的全连接条件随机场最优参数。

2.根据权利要求1所述的一种基于条件随机场的显著性检测优化方法，其特征在于，所述步骤S5中，判断新的输入图像所属的图像簇，采用所属图像簇的全连接条件随机场最优参数对所述新的输入图像的显著性图进行优化，包括以下步骤：

步骤S51：采用与步骤S41中相同的显著性检测算法生成新的输入图像I_e的显著性图；

步骤S52：通过求解以下最优化问题计算输入图像I_e所属的图像簇c_e：

其中，U_r是步骤S3得到的图像簇的中心，S(I_e,U_r)是输入图像I_e和图像簇的中心U_r之间的相似性，表示取与输入图像I_e相似性最大的图像簇的中心对应的图像簇，然后赋值给c_e，从而输入图像I_e属于图像簇c_e；

步骤S53：采用图像簇c_e的全连接条件随机场最优参数按照步骤S42中的计算公式对输入图像I_e的显著性图进行优化，生成优化后的显著性图。