[发明专利]基于双目视觉和深度学习的出水高度检测系统及其方法

权利要求书

1.一种基于双目视觉和深度学习的出水高度检测方法，其特征在于，所述检测方法使用基于双目视觉和深度学习的出水高度检测系统，所述检测系统包括视频采集模块、视频处理模块、目标识别和跟踪模块、三维坐标恢复模块、轨迹判断模块、高度计算模块；

所述视频采集模块用于采集游泳运动员的比赛视频，将采集到的比赛视频传递给所述视频处理模块；

所述视频处理模块用于根据视频去模糊算法处理具有高速运动物体的视频，以消除所述比赛视频中的模糊残影，将处理后的比赛视频传递给所述目标识别和跟踪模块；

所述目标识别和跟踪模块用于识别抛出水面的游泳运动员，并进行目标跟踪，使用矩形框框出目标，获得所述目标的中心点，同时提取所述目标的中心点列表发送给所述三维坐标恢复模块；

所述三维坐标恢复模块用于根据左右目照片计算出视差图，再根据相机焦距和基线计算出深度图，根据所述视差图和所述深度图恢复出轨迹点相对于相机参考坐标系的三维坐标，形成三维轨迹列表发送给所述轨迹判断模块；

所述轨迹判断模块用于对获得的轨迹进行拟合，当判断轨迹为抛物线时认定对应目标做出水动作，将做出水运动的目标轨迹发送给所述高度计算模块；

所述高度计算模块用于根据获得的抛物线计算出所述抛物线的最高点与最低点之间的垂直距离，所述垂直距离为游泳运动员的出水高度；

所述检测方法包括：

步骤S1：所述视频采集模块采集所述游泳运动员的比赛视频，将采集到的比赛视频传递给所述视频处理模块；

步骤S2：所述视频处理模块根据视频去模糊算法处理具有高速运动物体的视频，以消除所述比赛视频中的模糊残影，将处理后的比赛视频传递给所述目标识别和跟踪模块；

步骤S3：所述目标识别和跟踪模块识别抛出水面的游泳运动员，并进行目标跟踪，使用矩形框框出目标，获得所述目标的中心点，同时提取所述目标的中心点列表发送给所述三维坐标恢复模块；

步骤S4：所述三维坐标恢复模块根据左右目照片计算出视差图，再根据相机焦距和基线计算出深度图，根据所述视差图和所述深度图恢复出轨迹点相对于相机参考坐标系的三维坐标，形成三维轨迹列表发送给所述轨迹判断模块；

步骤S5：所述轨迹判断模块对获得的轨迹进行拟合，当判断轨迹为抛物线时认定对应目标做出水动作，将做出水运动的目标轨迹发送给所述高度计算模块；

步骤S6：所述高度计算模块根据获得的抛物线计算出所述抛物线的最高点与最低点之间的垂直距离，所述垂直距离为游泳运动员的出水高度；

所述步骤S5包括：

步骤S51：根据所述三维坐标构建运动轨迹数据点集；

步骤S52：根据采集到的数据点使用最小二乘法拟合三维抛物线曲面的未知参数(a_x,b_x,c_x,a_y,b_y,c_y)，所述三维抛物线曲面的计算公式如下：

步骤S53：使用所述数据点描述深度与高度的二维坐标，使用最小二乘法拟合物体运动在三维空间中的平面位置，计算公式如下：

步骤S54：根据运动平面与曲面的交线确定游泳运动员的运动轨迹线，计算公式如下：

步骤S55：判断数据点轨迹是否属于抛物线轨迹，计算拟合得到的抛物线与原数据点之间的偏差，计算公式如下：

步骤S56：当拟合出的曲线的偏差均值为预先设定的误差阈值τ时，认定该组数据点为抛物线轨迹；

步骤S57：根据拟合出的抛物线计算轨迹的最高点坐标，将所述最高点坐标作为该运动轨迹最高点的坐标。

2.根据权利要求1所述的基于双目视觉和深度学习的出水高度检测方法，其特征在于，所述视频采集模块包括ZED双目摄像机，所述ZED双目摄像机通过支架放置于地面，以防止抖动；

所述ZED双目摄像机设置在所述游泳运动员侧面的泳池边缘，以保证所述ZED双目摄像机拍摄到所述游泳运动员表演的全部过程。