[发明专利]基于深度神经网络色彩感知的显著性预测方法及装置

说明书

本发明公开了基于深度神经网络色彩感知的显著性预测方法及装置，方法包括：将细粒度样本图像输入到预设的第一VGG网络，并将粗粒度样本图像输入到预设的第二VGG网络中，得到对应于粗粒度样本图像的第一特征图，以及对应于细粒度样本图像的第二特征图；利用特征融合算法，得到融合图像；将融合图像的特征图与融合图像进行乘法处理，进而得到预测的显著图；判断交叉熵损失函数的值是否收敛；若是，将第一VGG网络、第二VGG网络以及通道加权子网络组成的网络作为目标网络模型，并使用所述目标网络模型进行待检测图像的显著性预测；若否；调整模型权重、超参数，直至收敛。应用本发明实施例，可以实现符合人眼感知的显著性预测。

技术领域

本发明涉及一种显著性预测方法及装置，更具体涉及基于深度神经网络色彩感知的显著性预测方法及装置。

背景技术

在计算机视觉领域，如何使计算机模拟人眼，快速、准确发现视觉场景中感兴趣物体的能力是非常重要的研究领域。计算机发现视觉场景中感兴趣物体位置的过程被定义为显著性预测。

目前，显著性预测方法已经大量应用于图像压缩、目标识别、图像分割等领域，并且取得了显著的效果。视觉场景中的显著性可以来自一些列刺激，包括低级图像属性，如颜色、方向、大小等和语义信息。颜色被认为是计算自上而下显著性的主要特征之一。迄今为止，现有的一些模型考虑到了不同色彩对人眼注意力的引导存在差别，并将这些差异性纳入注意力预测模型。但是，这些差异性结论来源于仅包含少数色彩的主观实验，并不能囊括自然界中全彩色颜色的类别，因此，现有的基于色彩对注意力影响的研究模型并不能扩展到自然视觉场景中进行显著性预测，因此，现有技术存在预测效果不准确的技术问题。

发明内容

本发明所要解决的技术问题在于提供了基于深度神经网络色彩感知的显著性预测方法及装置，以解决现有技术中预测效果不准确的技术问题。

本发明是通过以下技术方案解决上述技术问题的：

本发明实施例提供了基于深度神经网络色彩感知的显著性预测方法，所述方法包括：

1)、针对获取的彩色图像的样本集中的每一张样本图像，将所述样本图像转换为粗粒度样本图像和细粒度样本图像，其中，所述细粒度样本图像中的图像的分辨率高于所述粗粒度样本图像中的图像的分辨率；

2)、将细粒度样本图像输入到预设的第一VGG网络，并将粗粒度样本图像输入到预设的第二VGG网络中，得到对应于粗粒度样本图像的第一特征图，以及对应于细粒度样本图像的第二特征图；

3)、利用特征融合算法，将所述第一特征图与所述第二特征图进行融合处理，得到融合图像；

4)、使用预先建立的通道加权子网络识别出融合图像的特征图；将融合图像的特征图与融合图像进行乘法处理，得到目标图像；使用预设的卷积核对所述目标图像进行卷积处理，得到预测的显著图；

5)、获取所述预测的显著图与对应于所述样本图像的人眼注视图之间的交叉熵损失函数，并判断所述交叉熵损失函数的值是否收敛；

6)、若是，将第一VGG网络、第二VGG网络以及通道加权子网络组成的网络作为目标网络模型，并使用所述目标网络模型进行待检测图像的显著性预测；

7)、若否；调整所述第一VGG网络和/或第二VGG网络和/或通道加权子网络中的模型权重和/或超参数，并返回执行步骤2)，直至所述交叉熵损失函数的值收敛。

可选的，所述细粒度样本图像中的图像的分辨率为所述粗粒度样本图像中的图像的分辨率的第一预设数量倍。

可选的，所述第一VGG网络包括：依次串联的第5个处理单元，其中，第一个处理单元以及第二个处理单元均包括：2个卷积核以及一个最大池化层；

第三个处理三元、第四个处理单元以及第五个处理单元均包括：三个卷积核以及一个最大池化层。