[发明专利]基于全局运动的视觉目标对齐方法

说明书

本发明提出了一种基于全局运动的视觉目标对齐方法，为了使冰壶项目运动员的训练更为科技化，能够更好的观察冰壶完整的运动路径。本方法通过分析冰壶运动视频可以获得视频中冰壶的跟踪数据，并且通过计算可以得到相机镜头的运动，用该运动对视频中的场地进行还原处理，进而得到冰壶场地的运动数据。将场地运动数据和冰壶跟踪数据相结合，最后计算得到完整的冰壶运动轨迹，输出可视化结果。通过测试验证了该方法的可行性，具有重要应用价值。

技术领域

本发明设计图像处理领域，具体涉及与基于全局运动的视觉目标对齐。 该方法根据架设在体育场内的专用摄像机所拍摄的冰壶比赛视频，顺序输入 图像，通过目标跟踪和镜头运动还原获得冰壶跟踪轨迹。

背景技术

视频是由一个或多个镜头组成的，而每个镜头又是有连续的帧组成的， 因此，获取冰壶运动轨迹的问题可以转换为获取每个视频帧中冰壶位置坐标 的问题和获取镜头运动的问题。冰壶位置坐标要通过目标检测算法来获取， 目前对于目标检测的研究已经有很大进展，目标检测的任务是找出图像中所 有感兴趣的目标(物体)，确定它们的类别和位置，是计算机视觉领域的核心 问题之一。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮 挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。目标检测的方法可以分为两类，一类是利用传统方法，比如帧差法、背景减除 法、光流法等等，这些传统的目标检测方法大多数是基于手工特征所构建的 计算方法。另一类是基于深度学习的目标检测算法，深度学习相对于传统目 标检测算法能够提取更加高层和更好的表达目标的特征，还能将特征的提取、 选择和分类集合在一个模型中。

获取镜头运动信息可以通过光流得到，但考虑到冰壶场地的特殊性， 在拍摄过程中，绝大部分时间内屏幕都会被白色场地所占据，镜头的运动不 能很好的体现出来。因此，从这样的视频提取得到的光流中无法表达出全局 运动。也就无法进行后续的计算。

发明内容

为解决上述问题，本发明提供了一种基于全局运动的视觉目标对齐 方法。目标检测部分使用深度学习算法实现，镜头运动的估计通过帧与帧之 间角点匹配的办法实现，得到了良好的视觉目标对齐效果。

本发明的具体步骤如下:

步骤一：对于输入的视频，以视频帧序列的方式读取，对画面中出 现的冰壶进行目标检测，得到每一帧中每个冰壶的位置坐标。

步骤二：对输入的视频进行全局运动估计，分别检测出视频每帧图 像的角点，通常意义上来说，角点就是极值点，即在某方面属性特别突出的 点，角点检测的基本思想是使用一个固定窗口(取某个像素的一个邻域窗口) 在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的 像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那 么我们可以认为该窗口中存在角点。之后将每两帧之间检测到的角点进行配 对，根据配对成功的角点计算每两帧之间的仿射变换矩阵。从仿射变换矩阵 中提取出后一帧相对于前一帧的全局运动变量，即水平方向位移量、垂直方 向位移量、倾斜角度、缩放尺度。将视频图形帧序列每两帧之间的全局运动 变量依序输出后，通过后续的计算即可完成对摄像机全局运动路径的估计。

步骤三：在视频最后一帧中标注出冰壶计分区域中心的位置坐标， 并对其使用步骤二中得到的两帧之间的全局运动变量进行计算，得到前一帧 中的计分区域中心的位置坐标并输出。以此类推，从视频最后一帧开始，最 终得到每一帧里计分区域中心点的位置坐标。

步骤四：在步骤三的基础上，以冰壶计分区域中心点为原点建立坐 标系，该坐标系的x轴数值由左向右递增，y轴数值由上到下递增。将步骤一 中得到的每帧里冰壶位置坐标与该帧中计分区域中心点位置坐标相减，得到 的结果即为冰壶相对于计分区域中心点的坐标。将每一帧都按此方法处理之 后，将得到的所有结果绘制在冰壶比赛场地的全景图上，即可得到冰壶完整 运动轨迹的可视化数据。

本发明有如下优点：