[发明专利]基于颜色和深度的行人检索方法

说明书

本发明提供了一种基于颜色和深度图像行人检索方法，其特征在于，包括步骤：a)行人检测：使用深度学习方法中的YOLO检测器从RGB图像中检测到行人的BoundingBox；b)行人分割：取深度图像中与RGB图BoundingBox对应的矩形区域，使用区域增长方法，分割出行人区域；c)行人特征提取：利用深度图像中的分割后的mask获取RGB中行人区域，使用卷积神经网络CNN提取矢量特征；d)相似度比较：计算检索输入图像特征与图像库中的特征相似度，按相似度排序返回检索结果。

技术领域

本发明涉及人工智能、机器学习、视频检索、统计学等技术领域，具体涉及一种基于颜色和深度图像的行人检索方法。

背景技术

在智能化监控视频分析应用中，普通监控摄像机视频分辨率普遍较低，通过人脸信息不足以进行身份的辨别，因此采取通过比较人的外貌如衣服、裤子的相似程度来确定不同视角下拍摄的对象是否为相同人。这种方法进行人识别是基于人在短时间内不会变更自身的外貌着装的假设下进行的，跨摄像头行人检索正是基于行人的外貌着装相似程度确定行人在监控视频中出现的片段，为侦查人员提供了方面。在图像侦查的领域，跨摄像头行人检索具有重大的应用价值。

在监控摄像机场景进行行人识别步骤包括行人检测，行人分割，特征提取和相似度计算，其中困难之一在于单于通过RGB图像信息不能很好的将行人前景区域与背景区域分离。微软2010年6月份推出的Kinect摄像机同步采集深度视频数据和彩色图像视频数据。由于在现实场景中抓拍到的行人图像前景与背景是有一定距离的，本发明利用深度相机在行人分割中利用深度信息改善行人分割性能，实行跨场景的行人检索功能。

发明内容

本发明的目的在于提供了一种基于颜色和深度图像行人检索方法，其特征在于，包括步骤：a)行人检测：使用深度学习方法中的YOLO检测器从RGB图像中检测到行人的BoundingBox；b)行人分割：取深度图像中与RGB图BoundingBox对应的矩形区域，使用区域增长方法，分割出行人区域；c)行人特征提取：利用深度图像中的分割后的mask获取RGB中行人区域，使用卷积神经网络CNN提取矢量特征；d)相似度比较：计算检索输入图像特征与图像库中的特征相似度，按相似度排序返回检索结果。

优选地，所述步骤a)YOLO检测器从RGB图像中检测到行人：YOLO是一个端到端的物体检测器，使用了24个级联的卷积conv层和2个全连接fc层，其中conv层包括3*3和1*1两种Kernel，最后一个fc层即YOLO网络的输出，本发明采用标注的行人RGB图像训练出高精度的行人检测器。

优选地，所述步骤b)取深度图像中与RGB图BoundingBox对应的矩形区域，使用区域增长法在深度图像上分割行人，区域增长算法是一种基于区域与其邻近像素点的相似度判断某区域属于背景或前景。

优选地，所述区域增长算法的步骤具体包括：

步骤401)选取种子点：在深度图像中物体区域的深度值要比背景区域深度值要小很多，极小值区域刚好反应了物体与背景的区别，本发明选取深度图像的极小值区域为种子点。

步骤402)区域增长：在种子点处进行八邻域和四邻域扩展，种子增长的准则是：如果邻域的像素与种子像素深度值差的绝对值小于某个阈值，则将该像素包括种子像素所在的区域。

步骤403)增长停止：与种子点不相邻且与种子点的深度值之差大于所选的生长的阈值，则停止区域增长。

优选地，所述步骤c)提取CNN特征：参考VGG16模型构建卷积神经网络用于提取整体行人的矢量特征,整个卷积神经网络包含13个卷积层和3层全连接层，然后在最后的全连接层后加上256维的全连接层fc8作为行人特征用于检索；在训练的时候fc8层加上softmaxloss层和center loss层；训练该网络模型采用了6万ID的70万张图像，取其中10％的样本作为验证集，90％的样本作为训练集；最终使用训练后的模型提取特征。