[发明专利]多模态协同和融合的目标跟踪方法、装置及系统、介质

权利要求书

1.一种多模态协同和融合的目标跟踪方法，其特征在于，包括：

获取预设区域的广角图像；

使用目标检测模块在所述预设区域进行目标检测，确定目标所在的目标区域，其中，所述目标检测模块包括以下至少之一：毫米波雷达、广角摄像头，按如下方式获取所述目标区域的长焦图像：

当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值小于第一预设阈值，且，所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值小于第二预设阈值时，获取一个长焦摄像头的图像作为所述目标区域的长焦图像；当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值大于等于第一预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第一方向拼接作为所述目标区域的长焦图像；当检测到的所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值大于等于第二预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第二方向拼接作为所述目标区域的长焦图像，所述第一方向和第二方向其中之一为所述长焦摄像头的图像的长度方向，另一为所述长焦摄像头的图像的宽度方向；

根据如下方式生成从所述广角图像变倍至所述长焦图像过程中的任一变倍数为x的图像：根据倍数x、目标图像在所述广角图像中的位置得到第一方向和第二方向均为所述广角图像1/x的新画幅，将所述新画幅插值x倍生成与所述广角图像大小一致的图像，作为所述广角图像变倍x后的变倍图像；其中，所述目标区域在所述广角图像中的图像称为目标图像；确定所述目标区域在所述变倍图像中的位置和大小；将所述长焦图像缩放至所述目标区域在所述变倍图像的大小，得到缩放后的长焦图像；将所述缩放后的长焦图像拼接至所述变倍图像中所述目标区域对应的位置，得到所述变倍数为x的图像。

2.根据权利要求1所述的多模态协同和融合的目标跟踪方法，其特征在于，所述根据倍数x、目标图像在所述广角图像中的位置得到第一方向和第二方向均为所述广角图像1/x的新画幅包括：

所述广角图像的中心点为第一中心点，所述目标图像的中心点为第二中心点，获取所述第一中心点和所述第二中心点的距离D，确定迁移距离d=x*D/N，N为从所述广角图像变倍至所述长焦图像的最大变倍数；根据所述迁移距离d、所述第一中心点和所述第二中心点确定第三中心点，其中，所述第三中心点与所述第一中心点的距离为所述迁移距离d，且所述第三中心点位于所述第一中心点和所述第二中心点构成的线段上；

将所述广角图像中以所述第三中心点为中心，第一方向的像素数为h0/x，第二方向的像素数为w0/x的区域作为新画幅，其中，所述广角图像第一方向的像素数为h0，第二方向的像素数为w0。

3.根据权利要求2所述的多模态协同和融合的目标跟踪方法，其特征在于，所述确定所述目标区域在所述变倍图像中的位置和大小包括：

所述目标区域在所述变倍图像中的中心点为第四中心点，所述第四中心点与所述变倍图像的中心点的距离为d’=(D-d)*x，根据所述第二中心点与所述第一中心点的连线与所述第一方向的夹角，以及所述距离d’，确定所述第四中心点的位置；

将所述长焦图像缩小至原始大小的x*f0/f1，得到缩放后的长焦图像，其中，所述f0为所述广角图像对应的焦距，所述f1为所述长焦图像对应的焦距。

4.根据权利要求1所述的多模态协同和融合的目标跟踪方法，其特征在于，所述多个长焦摄像头包括第一长焦摄像头和第二长焦摄像头，所述第一长焦摄像头获取的长焦图像为第一图像，所述第二长焦摄像头获取的长焦图像为第二图像，且从调度第一长焦摄像头切换至调度第一长焦摄像头和第二长焦摄像头，所述获取多个长焦摄像头的图像前，还包括：

获取调度所述第二长焦摄像头前，所述广角图像中所述目标区域的中心点，以及，所述目标区域沿拼接方向的第一长度，将所述目标区域的中心点沿拼接方向移动所述第一长度的一半，获得第五中心点；将所述目标区域的中心点沿与拼接方向相反的方向移动所述第一长度的一半，获得第六中心点；所述拼接方向为所述第一图像和所述第二图像拼接的方向；

将所述第五中心点作为所述第一长焦摄像头的中心点调度所述第一长焦摄像头，将所述第六中心点作为所述第二长焦摄像头的中心点调度所述第二长焦摄像头。