[发明专利]一种多模态多拼接的RGB-D显著性目标检测方法

说明书

本发明公开了一种多模态多拼接的RGB‑D显著性目标检测方法，包括如下步骤：S1、将图像划分不重叠子区域，分别提取各个图像子区域的RGB图像颜色信息、Depth图像深度信息、对称不变LBP特征，并基于对称不变LBP特征形成区域直方图；S2、基于类条件互信息熵度量RGB图像颜色信息、Depth图像深度信息、区域直方图的相关性,利用自适应的得分融合算法实现RGB图像颜色信息、Depth图像深度信息、区域直方图在得分层次进行融合，求出每个图像子区域的最终的得分；S3、基于每个图像子区域的最终得分实现图像的显著性目标检测。本发明可以快速高效实现显著性目标的检测，且可以显著性检测的精度。

技术领域

本发明涉及图像检测领域，具体涉及一种多模态多拼接的RGB-D显著性目标检测方法。

背景技术

显著性目标检测是计算机视觉的一个重要组成部分，随着计算机视觉领域的不断发展，迫切需要效率更高，准确度更好的显著性目标检测方法。

在显著性检测发展的期间，各种方法层出不穷，例如利用了图像的颜色特征、位置信息、纹理特征等。一些传统方法更是采用中心先验、边缘先验、语义先验等。但是由于图像中的颜色场景非常复杂，对象和背景之间没有明显的对比时，这些模型经常会失败，光是靠这些特征很难分辨相近似的物体。

发明内容

为解决上述问题，本发明提供了一种多模态多拼接的RGB-D显著性目标检测方法，可以快速高效实现显著性目标的检测，且可以显著性检测的精度。

同时利用可见光摄像头与近红外摄像头的互补性，利用深度学习算法同时对可见光人脸图片进行特征提取，最后使用融合算法对深度学习模型提取到的特征进行得分层次的融合，起到一个优势互补的作用。

为实现上述目的，本发明采取的技术方案为：

一种多模态多拼接的RGB-D显著性目标检测方法，包括如下步骤：

S1、将图像划分不重叠子区域，分别提取各个图像子区域的RGB图像颜色信息、Depth图像深度信息、对称不变LBP特征，并基于对称不变LBP特征形成区域直方图；

S2、基于类条件互信息熵度量RGB图像颜色信息、Depth图像深度信息、区域直方图的相关性,利用自适应的得分融合算法实现RGB图像颜色信息、Depth图像深度信息、区域直方图在得分层次进行融合，求出每个图像子区域的最终的得分；

S3、基于每个图像子区域的最终得分实现图像的显著性目标检测。

进一步地，所述步骤S1中，基于深度卷积网络实现各个子区域的RGB图像颜色信息、Depth图像深度信息、对称不变LBP特征的提取。

进一步地，所述步骤S1中，首先基于Dssd_ Xception _coco模型实现图像内载目标的检测，然后基于目标的检测结果实现图像子区域的划分。

进一步地，每一个目标配置一图像子区域，剩余背景配置一图像子区域。

进一步地，所述Dssd_ Xception _coco模型采用DSSD目标检测算法，用coco数据集预训练Xception神经网络，然后用先前准备好的数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于检测图像内载各目标的检测模型。

进一步地，所述步骤S3中，基于ResNet50模型根据每个图像子区域的最终得分实现图像的显著性目标检测。

进一步地，还包括：实现图像人眼观测角度的识别的步骤，不同的人眼观测角度对应不同的图像偏转角度调整模型，基于图像偏转角度模型实现图像偏转角度的调整

本发明具有以下有益效果：

可以快速高效实现显著性目标的检测，且可以显著性检测的精度。

附图说明