[发明专利]融合人脸特征与Re-ID特征排序的行人跟踪方法及装置

说明书

本发明实施例公开了一种融合人脸特征与Re‑ID特征排序的行人跟踪方法及装置，方法包括：获取待检测图片，进行行人和人脸检测，以得到行人图片、人脸图片、行人框坐标信息、人脸框坐标信息及新的行人轨迹信息；将行人框坐标信息和人脸框坐标信息进行匹配，以确定行人和人脸之间的关联关系；对行人图片和人脸图片进行特征提取以得到当前行人外观特征向量和当前人脸特征向量；基于关联关系，采用跟踪器对所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息进行计算匹配，以完成对行人的跟踪。实施本发明实施例，将人脸特征与行人外观特征相融合，从而解决了行人外貌发生变化或行人轨迹丢失后而导致行人跟踪错误的问题。

技术领域

本发明涉及图像处理技术领域，具体涉及一种融合人脸特征与Re-ID特征排序的行人跟踪方法及装置。

背景技术

近年来，行人跟踪越来越受到关注，尤其是监控安防，线下智能零售，跨境跟踪等领域。利用行人跟踪技术，对监控区域的行人进行检测，再利用Re-ID技术提取行人特征，对其轨迹进行持续跟踪，可以实现行人轨迹回溯。如果多个摄像头，可以实现跨境搜索跟踪，对安防具有重大意义。

目前行人跟踪主要采用tracking-by-detection的模式，这种跟踪方式主要包括三个模块：1)行人检测模块，2)特征提取模块，3)跟踪模块。工作原理是首先对视频中的行人进行行人检测，把检测出来的行人图像传入到特征提取模块，然后跟踪模块对行人进行跟踪。

这种方式存在一些问题，首先当行人外貌发生变化，行人相互遮挡，行人姿态发生变化时，会出现提取出的行人特征无法与已经保存的行人特征匹配成功，这就导致行人跟踪的结果出现错误。其次，在进行行人跟踪时，系统会保存每个行人的特征，把同一个行人的特征保存为一个特征集，但是这个特征集数量不能太多，不然会造成占用内存过大，导致系统崩溃。而目前的特征集的保存方式都是按照时间顺序保存，超过一定限制后，就会删除最早保存的特征。这种方式，有可能会把质量较好的特征删除，而特征集中留下质量较差的特征，这样就会降低匹配的成功率，导致跟踪结果出现错误。最后，由于当一个行人在一段时间内没有跟踪到，这个行人的轨迹就会被删除，如果一段时间后，又重新检测到这个行人，那么跟踪系统会认为这个行人是新出现的，这样同一个行人会出现两个不同的ID信息，导致跟踪的结果不准确。

发明内容

针对上述技术缺陷，本发明实施例的目的在于提供一种融合人脸特征与Re-ID特征排序的行人跟踪方法及装置。

为实现上述目的，第一方面，本发明实施例提供了一种融合人脸特征与Re-ID特征排序的行人跟踪方法，包括：

获取待检测图片，对所述待检测图片进行行人检测和人脸检测，以得到行人图片、人脸图片、行人框坐标信息、人脸框坐标信息及新的行人轨迹信息；

将所述行人框坐标信息和人脸框坐标信息进行匹配，以确定行人和人脸之间的关联关系，从而实现将人脸特征融合到行人跟踪中；

对所述行人图片进行特征提取以得到当前行人外观特征向量，对所述人脸图片进行特征提取以得到当前人脸特征向量；

基于所述关联关系，采用跟踪器对所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息进行计算匹配，以完成对行人的跟踪；

其中，每一所述跟踪器对应于每一行人，所述跟踪器保存行人轨迹信息和特征集，所述特征集保存有行人外观特征和人脸特征。

进一步地，所述方法还包括：

根据检测到的所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息与所述跟踪器保存的行人外观特征、人脸特征和行人轨迹信息组成匹配矩阵；

采用匈牙利算法对对所述匹配矩阵进行计算，以得到最优匹配结果。

进一步地，所述方法还包括：