[发明专利]基于图像显著性检测的水工复杂场景下人物识别方法

说明书

本发明公开一种基于图像显著性检测的水工复杂场景下人物识别方法，针对部分显著性物体（人物）检测模型出现部分区域语义信息缺失的情况提出了一种新的强监督显著性检测方法。采用的模型分为两层，第一层主要采用了多层次的全卷积神经网络在像素层面上抓取显著性人物的全局语义信息与局部特征信息，并标注出粗糙的显著性人物。第二层通过使用短连接引入第一层运行过程中生成的浅层次的显著性特征，与粗糙显著图融合从而获取被丢失的特征信息，并加强显著物体的边界特征。在数据输入时，选取了原生图片高光化后的图片与原生去高光图片同时作为输入，设计的模型在网络上随机收集获取的水工复杂场景下的人物数据集上表现优良。

技术领域

本发明涉及计算机视觉领域，主要是针对水工复杂场景下人物的显著性检测。

背景技术

在防汛信息化建设日趋重要的时代背景下，在台风和大潮等天气，如何预防和及时发现人员非法进入水利工程设施(海塘、水库、堤防等)在监管上显得尤为迫切，采用人工查看视频监控的方式已经大规模普及，但效率和成本有待提高。如能采用自动发现的方式，让机器来协助工作人员，因此在水工复杂场景下对于人物的目标检测是非常重要的。这样的需求行为可以使用人物的显著性检测技术满足。虽然市面上有一些技术可以检测部分场景中的人物，但是存在以下不足之处：(1)场景不可过于复杂，一旦场景中含有较多的复杂元素，图片中具有高对比度且占比大的非显著性物体容易导致检测失败；(2)对于检测到的人物，轮廓不清晰，并且有时十分模糊，丢失部分全局语义信息；(3)现有的部分显著性检测模型对于场景中的复杂背景中的元素如水面波光或具有高对比度的山体，无法有效的排除；(4)现有的显著性检测模型对于水工场景中拍摄的图像中存在的与人物距离近且对比度低的杂质元素无法有效的去除或识别；(5)现有的显著性检测模型针对实际情况时，得出的结果与现实情况有所偏差。

在观察了大量的水工复杂场景下的人物图片，发现这些图片可以分为以下三类：(1)小物体，即显著性人物在图像中与全图相比，面积占比小于10％，此类图片数量在整体检测图片中占比80％；(2)大物体，即人物在图像中与全图相比，占比大于50％，此类图片较少；(3)复杂背景，即拍摄的图像中不仅包含了人物主体，还包含江边堤坝，远处山体，江岸连接处等次显著物体。如何解决检测图像中的人物，特别是小物体检测难的问题是急需解决的问题。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于图像显著性检测的水工复杂场景下人物的识别方法。针对目前大多数人物检测方法存在的无法有效融合全局语义信息和局部特征信息以及无法有效检测图片中存在的噪音，提出了基于多层次短连接的深度融合语义信息模型。可以有效使用局部特征信息减少因为检测时丢失部分全局语义信息而导致显著性物体检测失败的情况，同时增强显著性物体的标注，对非显著性物体的噪音或者大体积的非显著性物体进行有效的去除。

本发明所采用的技术方案是：采集图片全局语义信息与局部特征信息，使用多层次短连接模型深度融合两项信息互相补充，以减少检测过程中信息缺失的情况。

与现有的技术相比，本发明的有益效果是结合全局语义信息与局部特征信息，减少了在显著性检测过程中出现全局语义信息丢失以至于影响最终显著性结果图的情况。

附图说明

图1是本发明使用的神经网络模型结构图；

图2是像素层面神经网络流程示意图；

图3是像素层面神经网络规格说明辅助图；

图4是原生图、去高光图和高光图对比示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明的模型基于Caffe深度学习框架。