[发明专利]应用于全景视频的多目标跟踪方法及全景相机

说明书

技术领域

本发明涉及全景视频技术领域，尤其涉及一种应用于全景视频的多目标跟踪方法及全景相机。

背景技术

全景视频是由具有一些有时间关联的全景图像序列组成，从视频中可以获取真实的全景景象，并且可以通过时间来定位视频帧。拍摄静止场景的立方体全景视频的全局运动通常以水平运动为主，覆盖了360度场景范围，对于连续多帧的全景图像而言，目标物体会从立方体全景的一个面移动到相邻面。由于其具有动态背景，不适合使用背景差的方法进行动态物体的检测和跟踪，因此需要设计一种快速高效的立方体全景视频中的目标跟踪方法。

现有技术在全景视频中跟踪物体的方法，通常根据用户观看的角度由全景视频图像投影成投影视图，并将其作为目标跟踪的输入图像。跟踪过程中建立目标物体的模型，并根据前后帧建立跟踪目标出现在不同区域的概率，以较大概率的位置作为目标的新位置；采用上述方法的前提是不会出现漏检，其所关注的方向一定包含需要跟踪的目标，而在出现漏检的情况下，其跟踪的准确性极低，而在需要跟踪多个目标时，其出现漏检的大幅提高，从而导致出现现有方法存在全景视频跟踪多个目标准确性较低的问题。

而且采用上述方法，首先需要先获取全景视频图像再进行投影得到预设视场的投影图像，再进行前后帧跟踪目标出现在不同区域的概率，以概率的大小来确定跟踪目标的新位置，其计算步骤较多及计算量较大，而且在进行多目标跟踪时，其计算量会成倍增加，由此导致了全景视频的跟踪效率较低的问题。

发明内容

本发明提供了一种应用于全景视频的多目标跟踪方法及全景相机，能够有效准确跟踪多个跟踪目标，且能够提高跟踪多个跟踪目标的实时性。

本申请第一方面提供了一种应用于全景视频的多目标跟踪方法，包括：

选取全景视频中的某帧全景图像为初始帧全景图像，从所述初始帧全景图像及之后的每帧全景图像中选取N个投影图像，其中，每个投影图像为对应的全景图像中的部分图像的投影，N为不小于2的整数；

从所述初始帧全景图像选取的N个投影图像中选取M个跟踪目标，其中M为不小于1的整数；

以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到s，s为大于1的整数：

利用第i帧全景图像中的N个投影图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个投影图像中跟踪成功的至少一个跟踪目标。

结合第一方面，在第一方面的第一种可能的实施方式中，所述从全景视频中的每帧全景图像中选取N个投影图像，具体包括：

从每帧全景图像中的南北两极图像去掉之后的剩余全景图像中选取N个投影图像。

结合第一方面或第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，所述从全景视频中的每帧全景图像中选取N个投影图像，具体包括：

根据全景图像和投影图像的像素点之间的对应关系，从全景视频中的每帧全景图像中选取N个投影图像。

结合第一方面，在第一方面的第三种可能的实施方式中，从所述初始帧全景图像选取的N个投影图像中选取M个跟踪目标，具体包括：

根据预设条件，从所述初始帧全景图像中提取出的N个投影图像中选取所述M个跟踪目标。

结合第一方面的第三种可能的实施方式，在第一方面的第四种可能的实施方式中，根据预设条件，从所述初始帧全景图像中提取出的N个投影图像中选取所述M个跟踪目标，具体包括：

根据所述预设条件，从所述初始帧全景图像中提取出的N个投影图像中选取所有跟踪目标；

将所述所有跟踪目标转换到同一坐标系中，获取在同一坐标系中具有重叠区域的跟踪目标对集；

从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标。

结合第一方面的第四种可能的实施方式，在第一方面的第五种可能的实施方式中，从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标，具体包括:

获取每个跟踪目标对中每个跟踪目标的置信度；

去除掉每个跟踪目标对中置信度小的跟踪目标，得到余下的全部跟踪目标并将其作为所述M个跟踪目标。

结合第一方面，在第一方面的第六种可能的实施方式中，从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标，具体包括:

获取每个跟踪目标对中每个跟踪目标的置信度；