[发明专利]跨镜头多目标跟踪方法及系统

说明书

本公开涉及一种用于足球运动的跨镜头多目标跟踪方法，包括以下步骤：1、多个摄像头各自拍摄当前时刻的画面，形成多个当前画面；2、分别检测在所述多个当前画面的每个画面中出现的目标，记录所述目标在各个当前画面中的二维坐标；3、将各个目标在各个当前画面中的二维坐标转换为公共的三维坐标；4、将所述多个摄像头的当前画面中的所有目标与前一画面的目标进行匹配；5、对于匹配后的每个目标，根据所述多个摄像头所确定的多个三维坐标，确定所述目标最终的三维坐标；6、各个摄像头拍摄下一时刻的画面，作为新的当前画面，并重复执行2至5，获取所述目标在连续时刻中的多个三维坐标，形成所述目标的三维轨迹。

技术领域

本公开本涉及计算机图像处理技术领域，更具体地，涉及一种跨镜头多目标跟踪方法及系统。

背景技术

视频目标跟踪是指给定目标在视频中的初始位置，然后输出该目标在视频中的每个时刻的位置。物体跟踪是计算机视觉中一个重要的问题，通常是视频分析处理的第一步。

目前，有大量学者从事物体跟踪的研究，众多有效的物体跟踪的算法被提出来。在一些监控场景下，需要在一个复杂的场景下同时跟踪多个物体。多个物体之间的相互遮挡增加了物体跟踪的难度，这一点在行人的跟踪经常出现。当一大群人同时出现在摄像设备画面中时，每个人之间相互重叠使得无法准确的获取其实际位置。

多目标追踪方法主要分为两类：基于单摄像头的多目标追踪和基于多摄像相机的多目标追踪方法。

基于多摄像头的多目标追踪方法，目前主要关注如何进行多摄像头的数据融合，主要有基于摄像设备标定的方法和特征匹配的方法。基于摄像设备标定的方法主要是利用摄像设备投影矩阵，将不同的摄像设备画面投影到同一个画面上。对于基于特征匹配的方法，主要是通过寻找高效的表观特征和时空信息来提高匹配结果。多摄像设备的追踪问题由于不同镜头间有较大的光照和视角差异，相比于摄像设备的跟踪问题，具有更大的挑战性。由于问题的复杂性，现有的跨摄像头跟踪方法由于各种原因而具有相当的误差。

对足球运动/比赛的视频进行分析和处理，是上述多目标追踪方法应用的场景之一，由于足球运动具有广泛受众，其能够带来诸多商业和实用价值。例如，从观众视觉的角度，转播需要加入各种视觉特效来满足观众的视觉要求；从研究分析角度，球队交流可以提取出比赛视频中队员的相关数据来协助进行技战术分析与研究，帮助球队提升竞争力；此外，体育节目的版权方和赞助商等也需要充分地发掘出体育比赛转播中蕴含的商机。

然而，由于足球比赛中的运动目标较多，除了球员/裁判员之外还包括足球，加上天气和场内光照的影响，对各类跟踪算法的跟踪速度和跟踪精度提出了巨大的挑战，如果不能满足实时性和误差控制的需求，则难以实现商业应用。

发明内容

考虑到现有技术的上述问题，发明人做出了本发明，其通过在足球场的角落处布设多个摄像机、采用跨摄像头关联方法，来实时跟踪球场中的目标(球员和球)的位置。本发明使用了独有的相机校正和坐标转换，使得二维跟踪位置能够直接呈现在三维空间，并且能直接对应到统一的坐标系中，方便之后的跨摄像头关联，并采用了基于深度学习的人球检测方法，将单摄像头目标跟踪的检测结果串联成可信度更高的跟踪子。

根据本发明的实施例，提供了一种用于足球运动的跨镜头多目标跟踪方法，其中，在足球运动场地的不同位置安装有多个摄像头，所述多个摄像头的视野能够共同覆盖到整个足球运动场地，其中，所述跨镜头多目标跟踪方法包括以下步骤：步骤1、所述多个摄像头各自拍摄当前时刻的画面，形成多个当前画面；步骤2、分别检测在所述多个当前画面的每个画面中出现的目标，记录所述目标在各个当前画面中的二维坐标；步骤3、将各个目标在各个当前画面中的二维坐标转换为公共的三维坐标；步骤4、将所述多个摄像头的当前画面中的所有目标与前一画面的目标进行匹配；步骤5、对于匹配后的每个目标，根据所述多个摄像头所确定的多个三维坐标，确定所述目标最终的三维坐标；步骤6、在跟踪周期内，下一时刻到来作为当前时刻，重复执行步骤1至5，由此获取所述目标在连续时刻中的多个三维坐标，形成所述目标的三维轨迹。