[发明专利]多模态目标识别方法和系统

权利要求书

1.一种多模态目标识别方法，包括：

在多对象场景中对每个对象进行多模态跟踪，以获取所述对象在各个模态下的模态信息；

关联所述对象在各个模态下的模态信息以形成所述对象的模态信息集；

在所述多对象场景中选择目标；

基于所选目标确定所述目标的模态信息集；

在所述目标的模态信息集中选择可用的模态信息；以及

基于所述可用的模态信息识别所述目标。

2.如权利要求1所述的方法，所述模态信息包括：RGB图像、IR图像、3D图像、视频帧、声音、姿态、指纹、脉搏波。

3.如权利要求1所述的方法，关联所述对象在各个模态下的模态信息以形成所述对象的模态信息集进一步包括：在所述模态信息是图像的情况下，采用图像哈希技术进行关联映射。

4.如权利要求1所述的方法，关联所述对象在各个模态下的模态信息以形成所述对象的模态信息集进一步包括：在所述多对象场景是密集场景的情况下，采用区域交并比(IOU)和非极大值抑制(NMS)进行关联映射。

5.如权利要求1所述的方法，在所述多对象场景中选择目标包括基于空间位置来选择所述目标。

6.如权利要求1所述的方法，在所述多对象场景中选择目标包括基于场景选择所述目标。

7.如权利要求1所述的方法，在所述目标的模态信息集中选择可用的模态信息包括选择具备区分度的模态信息。

8.如权利要求1所述的方法，在所述目标的模态信息集中选择可用的模态信息包括根据不同的场景选择不同的模态信息。

9.一种多模态目标识别系统，包括：

模态信息收集模块，用于：

在多对象场景中对每个对象进行多模态跟踪，以获取每个对象在各个模态下的模态信息；

关联所述对象在各个模态下的模态信息以形成所述对象的模态信息集；

目标选择模块，用于：

在所述多对象场景中选择目标；

基于所选目标确定所述目标的模态信息集；以及

目标识别模块，用于：

在所述目标的模态信息集中选择可用的模态信息；

基于所述可用的模态信息识别所述目标。

10.如权利要求9所述的系统，所述模态信息包括：RGB图像、IR图像、3D图像、视频帧、声音、姿态、指纹、脉搏波。

11.如权利要求9所述的系统，所述模态信息收集模块关联所述对象在各个模态下的模态信息以形成所述对象的模态信息集进一步包括：在所述模态信息是图像的情况下，所述模态信息收集模块采用图像哈希技术进行关联映射。

12.如权利要求9所述的系统，所述模态信息收集模块关联所述对象在各个模态下的模态信息以形成所述对象的模态信息集进一步包括：在所述多对象场景是密集场景的情况下，所述模态信息收集模块采用区域交并比(IOU)和非极大值抑制(NMS)进行关联映射。

13.如权利要求9所述的系统，所述目标选择模块在所述多对象场景中选择目标包括所述目标选择模块基于空间位置来选择所述目标。

14.如权利要求9所述的系统，所述目标选择模块在所述多对象场景中选择目标包括所述目标选择模块基于场景来选择所述目标。

15.如权利要求9所述的系统，所述目标识别模块在所述目标的模态信息集中选择可用的模态信息包括所述目标识别模块选择具备区分度的模态信息。