[发明专利]基于结构自适应和规模自适应感受野的显著性检测方法

说明书

本发明公开了一种基于结构自适应和规模自适应感受野的显著性检测方法，所述方法包括：对DUTS数据库中训练集图像进行水平镜像处理，将镜像处理后的图像和标签加入到训练集；构建由骨干网络、特征提取网络和聚合网络构成网络模型；将训练集的低比特图像反量化后得到的零填充高比特图像作为网络模型的输入，将各层次输出结果和真实的标签图之间的二值交叉熵损失作为损失函数，通过Adam优化器梯度下降损失函数训练网络模型的各个参数；将训练后的网络模型用于显著性检测。

技术领域

本发明涉及深度神经网络领域，尤其涉及一种基于结构自适应和规模自适应感受野的显著性检测方法。

背景技术

显著性对象检测旨在突出显示图像或视频中在语义上引人注意或引起关注的区域或对象。它可以作为其他计算机视觉任务的预处理步骤。当前，它已经被广泛用于对象跟踪、图像分割、对象检测和人员身份识别中。

根据感知理论，目标是否是显著物体由不同级别语义共同决定的，包括：高级语义信息、中级纹理结构信息、低级细节信息。传统的显著性检测方法通常采用人工设计的特征，这些特征由低级视觉特征(例如：颜色、像素在图像中的位置和边缘纹理)和中级纹理结构特征(例如：物体间的位置)组成。但是，传统方法难以提炼抽象的高级语义信息，同时特征设计基于先验假设，但是先验假设不可能对所有场景都适用。因此，传统方法处理具有复杂场景的能力是无法满足人类需求的。

最近，借助深度神经网络，可以很方便地获得高质量的深度语义特征，因此能够更有效地处理显著性检测任务。早期的神经网络融合了一些传统的显著性检测方法，包括：前景和背景先验以及图像超像素化，同时显著性预测结果仅使用最高层次特征上采样的结果。根据现有的方法，传统显著性检测方法生成的低级特征可以被神经网络浅层特征取代，因此，许多现有的方法决定从全卷积网络的不同层中提取多级别卷积特征，并将低级细节与高语义信息结合起来，生成多层次语义上下文来更好地定位显著对象。通常语义层次聚合使用跳跃连接或密集连接来整合不同级别的语义特征。但是，不同场景下显著物体具有不同的结构和尺寸，现有方法采用固定比例和规则采样的卷积实际上忽视了物体的结构信息，同时不同层次的语义信息对于感受野的要求也是不同的，低层次信息需要小感受野关注细节而高层次信息需要引入大感受野补充语义信息，而现有方法都是采用同样的感受野处理每一层次，从而劣化了显著性对象检测的性能效果。

发明内容

本发明提供了一种基于结构自适应和规模自适应感受野的显著性检测方法，本发明通过对骨干网络获得的各层次语义特征使用变形卷积调整特征位置，帮助卷积能够基于对象结构采样特征，根据不同层次设计对应的空间文本模块采样空间信息，使用通道注意力机制强化显著性相关的通道，从而获得高质量的高级语义线索和低级细节信息，将各个层次的语义特征通过密集连接聚合各层次信息；另外，本发明使用边缘改善模块对预测图像进行边缘修补以及引入深监督方法监督网络各个层次的训练，详见下文描述：

一种基于结构自适应和规模自适应感受野的显著性检测方法，所述方法包括：

对DUTS数据库中训练集图像进行水平镜像处理，将镜像处理后的图像和标签加入到训练集；

构建由骨干网络、特征提取网络和聚合网络构成网络模型；

将训练集的低比特图像反量化后得到的零填充高比特图像作为网络模型的输入，将各层次输出结果和真实的标签图之间的二值交叉熵损失作为损失函数，通过Adam优化器梯度下降损失函数训练网络模型的各个参数；将训练后的网络模型用于显著性检测。

其中，

骨干网络：使用VGG-16模型，将VGG-16模型的第2个卷积块的第2层Conv2-2、第3个卷积块的第2层Conv3-2、第4个卷积的第3层Conv4-3和第5个卷积块的第3层Conv5-3和最后一个池化层作为五个层次特征输入到特征提取网络中；