[发明专利]基于颜色和深度的行人检索方法

权利要求书

1.一种基于颜色和深度图像行人检索方法，其特征在于，包括步骤：

a)行人检测：使用深度学习方法中的YOLO检测器从RGB图像中检测到行人的BoundingBox；

b)行人分割：取深度图像中与RGB图BoundingBox对应的矩形区域，使用区域增长方法，分割出行人区域；所述区域增长算法是一种基于区域与其邻近像素点的相似度判断某区域属于背景或前景；

所述区域增长算法的步骤具体包括：

步骤401)选取种子点：在深度图像中物体部分区域的深度值要比背景区域深度值小很多，极小值区域刚好反应了物体与背景的区别，选取深度图像的极小值区域为种子点；

步骤402)区域增长：在种子点处进行八邻域和四邻域扩展，种子增长的准则是：如果邻域的像素与种子像素深度值差的绝对值小于某个阈值，则将该像素包括种子像素所在的区域；

步骤403)增长停止：与种子点不相邻且与种子点的深度值之差大于所选的生长的阈值，则停止区域增长；

c)行人特征提取：利用深度图像中的分割后的mask获取RGB中行人区域，使用卷积神经网络CNN提取矢量特征；

d)相似度比较：计算检索输入图像特征与图像库中的特征相似度，按相似度排序返回检索结果。

2.根据权利要求1所述的方法，其特征在于：所述步骤a)YOLO检测器从RGB图像中检测到行人：其中所述YOLO是一个端到端的物体检测器，使用了24个级联的卷积conv层和2个全连接fc层，其中所述conv层包括3*3和1*1两种Kernel，最后一个fc层即YOLO网络的输出。

3.根据权利要求1所述的方法，其特征在于：所述步骤c)提取CNN特征：参考VGG16模型构建卷积神经网络用于提取行人的特征,整个卷积神经网络包含13个卷积层和3层全连接层，然后在最后的全连接层后加上256维的全连接层fc8作为行人特征用于检索；在训练的时候fc8层加上softmax loss层和center loss层；训练该网络模型采用了6万ID的70万张图像，取其中10％的样本作为验证集，90％的样本作为训练集；最终使用训练后的模型提取特征。

4.根据权利要求1所述的方法，其特征在于：所述步骤d)特征匹配过程包括构造检索库和检索操作两部分。

5.根据权利要求4所述的方法，其特征在于：检索库构造方法为从深度相机获取大量数据，通过步骤a行人检测和步骤b)行人分割的方法得到行人RGB图像，再用CNN网络提取特征将fc8层的256特征保存入库。

6.根据权利要求4所述的方法，其特征在于：检索操作方法为输入手工裁剪后的待查询行人的图像，直接通过CNN提取特征；然后计算待查询行人的特征与库存中特征的相似度，并返回查询结果。