[发明专利]基于协同显著性生成式对抗网络的协同显著性检测方法

说明书

本发明提出了一种基于协同显著性生成式对抗网络的协同显著性检测方法，步骤如下：构建协同显著性生成式对抗网络模型；对协同显著性生成式对抗网络模型进行两阶段训练：在第一训练阶段，采用带标签的显著目标数据库对协同显著性生成式对抗网络进行预训练，本阶段训练后，协同显著性生成式对抗网络具备对单幅图像进行显著性检测的能力；在第二训练阶段，基于第一阶段训练好的模型参数，采用协同显著目标属于同一类别的带标签协同显著性数据组对协同显著性生成式对抗网络进行训练，本阶段训练后，可直接使用训练好的模型进行类别协同显著性检测。本发明训练过程简单、检测效率高，通用性较强，准确率较高。

技术领域

本发明涉及计算机视觉与机器学习的技术领域，尤其涉及一种基于协同显著性生成式对抗网络的协同显著性检测方法。

背景技术

随着大数据时代的到来，可以提供各种信息资源的网站和存储移动设备的出现，大量图像和视频的数字化信息充斥着我们的生活，怎样赋予计算机快速并准确获取和保留更多有效信息的能力显得十分有必要。协同显著性检测基于人类生物视觉注意机制，通过检测多幅相关场景图像以及视频中的公共显著性目标，提取能够代表这类图像的有效目标信息，自动过滤图像中的冗余和噪音，降低算法的时间和空间复杂度，从而实现计算资源的优先分配，提高后续图像任务的执行效率。

现有的协同显著性检测方法有多种，单幅图像显著性特征的提取和多幅图像间相似性线索的捕捉是该任务涉及到的关键环节。随着深度学习的发展，可根据方法是否采用深度学习技术将现有的协同显著性方法分为两类。基于非深度学习的方法往往基于一些手工设计特征以及人为设置的相似性度量准则进行协同显著性检测，导致提取出来的特征与相似性信息限制了检测性能，对检测精度影响较大。另一类基于深度学习的协同显著性检测方法与传统协同显著性检测方法相比，由深度模型提取出来的信息更具有有效性，大大提升了协同显著性检测性能。但现有带标注的协同显著性数据量规模有限，对深度学习技术的应用形成了一定制约。

发明内容

针对现有基于深度学习的协同显著性检测方法受训练数据量不足的局限，从而对检测精度影响较大的技术问题，本发明提出一种基于协同显著性生成式对抗网络的协同显著性检测方法，有效利用了单幅图像的显著性与同类别图像组的内部相关性信息来进行同类别图像间的协同显著性检测，训练及检测过程简单且检测效率高。

为了达到上述目的，本发明的技术方案是这样实现的：一种基于协同显著性生成式对抗网络的协同显著性检测方法，其步骤如下：

步骤一：构建协同显著性生成式对抗网络模型：根据协同显著性检测任务特性对协同显著性生成式对抗网络中的生成器和判别器的网络架构进行设计，构建协同显著性生成式对抗网络模型；

步骤二：对协同显著性生成式对抗网络模型进行两阶段训练：在第一训练阶段，采用带标签的显著目标数据库对协同显著性生成式对抗网络进行预训练，在第二训练阶段，基于第一阶段训练好的模型参数，采用协同显著目标属于同一类别的协同显著性数据组对协同显著性生成式对抗网络进行训练；

步骤三：类别协同显著性检测：将步骤二中训练好的协同显著性生成式对抗网络模型的生成器作为类别协同显著性检测器，将属于同一种类别的图像作为类别协同显著性检测器的输入，直接端到端的输出同类别图像对应的协同显著图。

所述步骤一中生成器的网络采用U-Net网络结构、为全卷积网络，其中卷积层和反卷积层的卷积核尺寸、步长和填充值对称设置，倒数三层卷积层和前三层反卷积层设有Dropout操作；所述判别器的网络也为全卷积网络，经多层卷积操作后，输出二维概率矩阵，根据二维概率矩阵对判别器输入的图像进行Patch级真假判别；所述生成器学习原始图像与协同显著真值图之间的映射关系，从而生成协同显著图，判别器把生成器生成的协同显著图与真值图进行真假区分判别。