[发明专利]一种基于全景视角检测跟踪的轨迹预测方法及系统

说明书

本发明公开的一种基于全景视角检测跟踪的轨迹预测方法及系统，对不同视角的多个视频信息的当前帧图像信息处理获得当前帧图像信息的特征向量、目标对象的位置；结合历史帧图像信息的目标边界框操作结果和目标对象的位置获得轨迹预测特征；基于轨迹预测特征进行轨迹预测计算得到下一帧目标对象的轨迹；从全景视角下采集目标对象的视频信息，并对各视角的视频信息进行多目标检测和追踪，最后预测出下一帧目标对象的轨迹，经过对多个连续帧的处理与预测得到目标对象的完整轨迹；实现在同一时刻同时掌握各个方位上的目标状态，同时对目标状态进行空间上的轨迹预测，以满足需要对周围环境进行实时监控预测的应用场景。

技术领域

本发明涉及全景视频技术和目标跟踪技术领域，具体涉及一种基于全景视角检测跟踪的轨迹预测方法及系统。

背景技术

深度学习的发展使得电子设备具备良好的感知能力，如多目标的检测，跟踪和轨迹预测等，被广泛应用在各种实际场景中，如自动驾驶、虚拟现实、增强现实、视频监控等。

目前针对多目标检测、跟踪和轨迹预测，现代感知系统通常采用级联的方式顺序执行多目标的检测、跟踪和轨迹预测任务，但是，这种级联方式单独训练每个模块会造成性能欠佳，并且每个模块的计算量都非常大迫使在对多目标进行检测跟踪预测时需要极大算力，在边缘设备上难以达到需求。而且目前多目标跟踪系统仅针对一个视角下的多个目标进行跟踪，无法同时感知全景视角下的其余目标运动情况，无法满足一些需要对周围环境进行实时监控的应用场景，如工业场景中吊塔等，需要同时对上下左右前后等周围不同方位的多个目标进行检测跟踪。

发明内容

为克服上述技术的缺陷，本发明提供一种基于全景视角检测跟踪的轨迹预测方法及系统。

本发明通过下述技术方案实现：

本方案提供的一种基于全景视角检测跟踪的轨迹预测方法，包括步骤：

S1.实时采集全景视角下目标对象的视频信息；

S2.对不同视角的多个视频信息的当前帧图像信息进行预处理获得各当前帧图像信息针对全景视角检测跟踪的特征向量；

S3.对S2中获得的特征向量执行目标边界框操作、并基于特征向量检测出目标对象的位置；

S4.基于当前帧图像信息的目标边界框操作结果和目标对象的位置、历史帧图像信息的目标边界框操作结果和目标对象的位置，进行特征提取和特征交互最终获得轨迹预测特征；

S5.根据S4获得的轨迹预测特征进行轨迹预测计算得到下一帧目标对象的轨迹；

S6.以当前帧图像信息的目标边界框操作结果和目标对象的位置作为历史帧图像信息的目标边界框操作结果和目标对象的位置重复步骤S2-S6直至轨迹预测完成。

本发明工作原理：本方案提供的基于全景视角检测跟踪的轨迹预测方法，从全景视角下采集目标对象的视频信息，并对各视角的视频信息进行多目标检测和追踪，最后预测出下一帧目标对象的轨迹，经过上述步骤的循环得到目标对象的轨迹；在同一时刻同时掌握各个方位上的目标状态，同时对目标状态进行空间上的轨迹预测，以满足需要对周围环境进行实时监控预测的应用场景；现有技术中仅针对一个视角下的多个目标对象进行跟踪，无法同时感知全景视角下的其余目标运动情况，无法满足一些需要对周围环境进行实时监控的应用场景，如工业场景中吊塔等，需要同时对上下左右前后等周围不同方位的多个目标进行同时检测跟踪；而本方不仅对目标对象进行全景视角检测追踪，且实现视频中连续帧图像的多目标检测、跟踪和轨迹预测，实现多目标的追踪，最终得到目标对象的预测轨迹。

进一步优化方案为，所述全景视角下表示为以目标对象的坐标点为中心的球形空间视角。

进一步优化方案为，所述预处理包括：

先对各视频信息的当前帧图像信息去噪、滤波和锐化处理；