[发明专利]一种基于空间坐标系的多摄像头数据融合方法

说明书

本发明公开了一种基于空间坐标系的多摄像头数据融合方法，包括以下步骤：针对需要提取的目标构建训练数据集，完成目标检测与识别模型的训练；提取各摄像头采集到的视频数据中的目标的类别和目标在二维图像坐标系统下的位置信息，建立二维图像坐标系与三维空间坐标系之间的坐标映射关系；对于连续多个场景中的摄像头采集到的视频流数据，进行目标检测与目标识别处理，提取各帧中出现的目标的类别信息以及目标在二维图像坐标系下的位置信息；将目标在二维图像坐标系下的位置信息映射为目标在三维空间坐标系下的坐标；并根据当前时间节点中的各目标与上一时间节点中各目标之间的距离信息，得到目标在三维空间坐标系下的运动轨迹数据。

技术领域

本发明涉及视频图像处理领域，具体说是一种在空间坐标系下对连续多监控场景下的多摄像头采集到的监控数据融合方法。

背景技术

近年来，随着用于安防的网络摄像头的普及，智能视频监控技术已经迅速成为当下的一个研究热点。视频数据是对监控场景中发生的事的记录，其中蕴含着各类信息。鉴于在大多数视频监控数据中背景是固定不变的，所以对于视频监控数据，使用者真正感兴趣的是其中出现的目标以及目标的运行轨迹。

目前，视频监控数据大多是根据摄像头的编号对各摄像头采集到的数据分别进行存储，然后再通过智能视频监控技术进行分析处理。而目标检测、目标识别和目标跟踪是智能视频监控分析处理的三个重要环节。其中，目标跟踪是用来确定我们感兴趣的目标在视频序列中连续的位置，目标跟踪技术是计算机视觉领域的一个基础技术，具有广泛的应用价值。

传统的目标跟踪技术都是基于二维图像空间对目标的历史运动轨迹进行记录。这种方法容易实现，且可以记录目标在当前场景下的运动轨迹。但是这种方法不足在于：1.传统的目标跟踪技术局限在二维图像空间，不能反映目标在空间中的位置变化信息；2.当目标发生跨场景的移动时，传统的目标跟踪技术需要将当前场景中的目标与之后多个场景中的目标进行比对，并以此判断目标的移动方向，不能很好的对目标进行多场景的持续跟踪。

发明内容

本发明的目的是：通过建立二维图像坐标系与真实三维空间坐标系之间的映射关系，将对多个摄像头获取到的视频帧进行目标检测与目标识别后的得到的目标在二维图像坐标系下的坐标信息映射到空间坐标系中，并在此基础上提供一种对目标进行跨场景跟踪方法，实现对多摄像头采集到的视频监控数据进行融合。

该方法在分析摄像头成像原理和摄像头标定技术的基础上，建立二维图像坐标系与真实三维空间坐标系之间的坐标映射方程；然后将通过目标检测与目标识别方法获取到的目标在二维图像坐标系下的坐标，转换为目标在三维空间坐标系下的坐标；最后基于目标在三维空间坐标系下的坐标进行目标跟踪，实现多摄像头数据融合。这种方法可以还原目标在真实空间中的位置变化信息，同时还可以更好地对目标进行跨场景跟踪，实现对多个摄像头采集到的数据的融合，为高层次的目标行为分析提供更多的信息。

为了实现上述目的，本发明提供了一种基于空间坐标系的多摄像头数据融合方法，该方法包括以下步骤：

在需要被监控的场景中部署各个摄像头；针对需要提取的目标构建训练数据集，完成目标检测与识别模型的训练；基于目标检测与识别模型提取各摄像头采集到的视频数据中的目标的类别和目标在二维图像坐标系统下的位置信息，建立二维图像坐标系与三维空间坐标系之间的坐标映射关系；对于连续多个场景中的摄像头采集到的视频流数据，进行目标检测与目标识别处理，提取各帧中出现的目标的类别信息以及目标在二维图像坐标系下的位置信息；基于坐标映射关系，将目标在二维图像坐标系下的位置信息映射为目标在三维空间坐标系下的坐标；并根据当前时间节点中的各目标与上一时间节点中各目标之间的距离信息，发现相邻时间节点中的相同目标，并将其连接起来，得到目标在三维空间坐标系下的运动轨迹数据。

优先地，建立二维图像坐标系与三维空间坐标系之间的坐标映射关系步骤，具体包括：