[发明专利]一种基于全局模型和局部优化的深度网络显著性检测方法

权利要求书

1.一种基于全局模型和局部优化的深度网络显著性检测方法，其特征在于，包括如下步骤：

步骤1，在全局模型中，以VGG-16网络为基础通过添加额外的连接层进行训练，设计一个端到端的回归卷积神经网络，可以将输入图像直接映射生成初始显著图，该网络可在多个尺度上产生多级特征来检测显著性目标，达到从图像整体角度预测每一个候选区域显著性目标的目的，共生成5个基于全局模型的初始显著图。

步骤2，在局部模型中，利用邻域像素之间的颜色、纹理等特征提取吸引人注意的点或区域设计局部模型进行显著性检测，将深度网络将显著性的划分转化为二分类问题，通过学习多级图像块的特征来预测每一个像素的显著性值，生成局部显著图。

步骤3，在显著图融合中，利用条件随机场(CRF)的方法，将全局和局部模型得到的多个初始显著图进行融合，生成最终的显著图。

2.根据权利要求1所述的一种基于全局模型和局部优化的深度网络显著性检测方法，其特征在于，步骤1中，针对输入图像，本发明中采用的网络模型共有5组13个卷积层和相应的映射单元，以及5个池化层，2个全连接层和1个输出层。

输入图像经过5层池化操作之后，输出14×14×512维的特征向量。

本发明对该模型进行改进，通过设计合理的卷积核、步长、边缘补充、池化等操作，提取不同层级的特征信息，使其不同层能够生成多个相同尺度的初始显著图。

3.根据权利要求1所述的一种基于全局模型和局部优化的深度网络显著性检测方法，其特征在于，步骤2中，本发明采用固定大小的图像块，通过滑动的方式生成局部模型训练数据集，利用卷积神经网络进行中心像素点与周围邻域的显著性检测训练。

针对每个划分的图像块P和标准显著图G构建训练数据，正样本定义为：当图像块P与G重叠部分满足：

|P∩G|≥0.8×min(|P|，|G|)

负训练样本定义为：当1)P的中心像素不是显著的，2)P与G的重叠部分小于一定比例：

|P∩G|＜0.3×min(|P|，|G|)

4.据权利要求1所述的一种基于全局模型和局部优化的深度网络显著性检测方法，其特征在于，步骤2中，本发明设计的局部网络模型由6层结构组成，包括3个卷积层和3个全连接层，三个卷积层均包含Relu非线性激活函数和最大池化层，全连接层中，为了防止过拟合，前两层的全连接层采用dropout方法，并利用softmax分类器作为输出层，生成中心像素显著与否的概率值。

利用标注集{l_i}作为训练集{P_i}的监督，选择softmax函数的交叉熵作为代价函数，通过随机梯度下降的方法对网络进行训练，代价函数定义为：

其中，m为样本数量，θ^L是网络的学习参数，包括所有层的权重和偏差，P(l_i＝j|θ^L)是网络预测第i个训练样本的标注概率，λ是权重延迟参数，是第k层权重值。

5.根据权利要求1所述的一种基于全局模型和局部优化的深度网络显著性检测方法，其特征在于，步骤3中，利用条件随机场对全局和局部模型共得到M个显著图{S₁，S₂，…S_M}进行融合。

将所有显著图构成一个特征向量x(p)＝(S₁(p)，S₂(p)，…，S_m(p))，y(p)表示二值标记，显著记为1，不显著记为0。因此，在特征向量X＝{x_p|p∈I}中标记Y＝{y_p|p∈I}的条件分布概率记为：

其中，p为原图像I中的像素，x_p是p点的显著性特征向量，y_p是显著性标记，θ是CRF模型待训练参数。f_d(·)和f_s(·)是两个特征函数，分别表示独立像素点p的特征和其邻域N_p范围内的特征，η表示一个惩罚项。

生成的多级显著图{S₁，S₂，…S_M}，可以通过条件随机场回归模型，利用极大似然函数求得融合参数θ，生成最终的显著图。