[发明专利]多模态目标识别方法和系统

说明书

本公开提供了一种多模态目标识别方法，包括：在多对象场景中对每个对象进行多模态跟踪，以获取每个对象在各个模态下的模态信息；关联所述对象在各个模态下的模态信息以形成所述对象的模态信息集；在所述多对象场景中选择目标；基于所选目标确定所述目标的模态信息集；在所述目标的模态信息集中选择可用的模态信息；以及基于所述可用的模态信息识别所述目标。

技术领域

本公开主要涉及目标识别，尤其涉及多模态下的目标识别。

背景技术

线下刷脸支付的摄像头，为了极高的安全性，基本上都采用2D+3D或者2D+IR+3D的多模态摄像头。常规的方案一般选择在2D上做检测，基于2D脸的大小进行选脸，或者结合人脸检测框对应的平均深度值计算人脸检测框在空间的位置进行选脸。

但是各个模态对各自环境的适应能力不同，只依赖2D摄像头进行主要的检测和选脸逻辑，使得在极端光线等情况下3D或者IR模态能够检测到人脸，但是2D模态检测失败，也不能继续进行人脸识别的全链路，对全链路通过率造成了很大的伤害。

在其它场景中，例如危险人物追踪或儿童失踪、高价值货物丢失等的场景，同样需要在关键地点实现不受光线或遮挡影响的目标识别。

因此，本领域需要在极端光线条件下或者目标受到遮挡的情况下，仍然能够进行目标识别的方法和系统。

发明内容

为解决上述技术问题，本公开提供了一种在极端光线条件下或者目标受到遮挡的情况下，仍然能够进行目标识别的方案。

在本公开一实施例中，提供了一种多模态目标识别方法，包括：在多对象场景中对每个对象进行多模态跟踪，以获取每个对象在各个模态下的模态信息；关联对象在各个模态下的模态信息以形成对象的模态信息集；在多对象场景中选择目标；基于所选目标确定目标的模态信息集；在目标的模态信息集中选择可用的模态信息；以及基于可用的模态信息识别目标。

在本公开另一实施例中，模态信息包括：RGB图像、IR图像、3D图像、视频帧、声音、姿态、指纹、脉搏波。

在本公开又一实施例中，关联对象在各个模态下的模态信息以形成对象的模态信息集进一步包括：在模态信息是图像的情况下，采用图像哈希技术进行关联映射。

在本公开另一实施例中，关联对象在各个模态下的模态信息以形成对象的模态信息集进一步包括：在多对象场景是密集场景的情况下，采用区域交并比(IOU)和非极大值抑制(NMS)进行关联映射。

在本公开又一实施例中，在多对象场景中选择目标包括基于空间位置来选择目标。

在本公开另一实施例中，在多对象场景中选择目标包括基于场景选择目标。

在本公开又一实施例中，在目标的模态信息集中选择可用的模态信息包括选择具备区分度的模态信息。

在本公开另一实施例中，在目标的模态信息集中选择可用的模态信息包括根据不同的场景选择不同的模态信息。

在本公开一实施例中，提供了一种多模态目标识别系统，包括：模态信息收集模块，用于：在多对象场景中对每个对象进行多模态跟踪，以获取每个对象在各个模态下的模态信息；关联对象在各个模态下的模态信息以形成对象的模态信息集；目标选择模块，用于：在多对象场景中选择目标；基于所选目标确定目标的模态信息集；以及目标识别模块，用于：在目标的模态信息集中选择可用的模态信息；基于可用的模态信息识别目标。

在本公开另一实施例中，模态信息包括：RGB图像、IR图像、3D图像、视频帧、声音、姿态、指纹、脉搏波。

在本公开又一实施例中，模态信息收集模块关联对象在各个模态下的模态信息以形成对象的模态信息集进一步包括：在模态信息是图像的情况下，模态信息收集模块采用图像哈希技术进行关联映射。