[发明专利]基于多摄像头的运动姿态监测和指导方法及装置

说明书

本公开涉及基于多摄像头的运动姿态监测和指导方法和装置。该方法包括：通过多个摄像头获取至少一个目标运动者的运动图像和/或视频数据；通过姿态识别算法从运动图像和/或视频数据中识别出目标运动者，并输出运动姿态监测所需要的人体体态图；基于人体体态图通过三维重建算法重建目标运动者的人体三维姿态信息；利用三维空间中的体态关键节点将目标运动者与参考者进行骨骼配准；将经骨骼配准的目标运动者与参考者在某一时刻或预设时间段内的人体三维姿态信息进行比较；基于比较结果，对目标运动者的动作完成度和质量进行评估；以及基于评估结果，向目标运动者提供反馈，其中所述反馈包括所述动作是否达标和/或运动优化建议。

技术领域

本公开总体上涉及图像处理领域，具体地涉及基于多摄像头的运动姿态监测和指导方法及装置。

背景技术

近几年来，随着国民收入水平和健康意识的不断提高，人们越来越多地参与到运动中以提高身体素质。传统的运动指导方法往往依赖于运动教练的观察，然后由教练给出针对性的指导方案。然而，现阶段运动教练的水平参差不齐，专业教练的数量紧缺且价格高昂，无法满足低消费人群不断增长对健身康复及体育运动的需求。然而，在不聘请专业教练的情况下，很多运动初学者可能会因为错误地运动而受伤，或者因为缺乏指导而无法得知如何提高运动效果，或者无法从事一些较为专业的运动项目。

为满足人们对健身康复、体育运动的低成本和高品质的需求，逐渐出现与运动姿势检测相关的系统。现有技术大多基于单视频或者单摄像头拍摄的二维运动视频信息进行检测，但是这种方法并不能精确展示人在三维空间里面的动作姿势，导致无法给予科学的指导。另外，这种依赖视频的方法大多需要和某个规范动作进行对比，继而无法针对于不同人群选择自己喜欢的专业教练远程同步健身，或者选择适合现在自身状况的健身体系。例如，对于健身经验少的初学者，或是有病在身的运动者，无法适应固定且机械的动作。

发明内容

鉴于上述技术问题，本公开内容提出了一种基于多摄像头的运动姿态监测和指导方法及装置。该方法及装置基于多摄像头拍摄目标运动者视频图像，通过多视角获取的视频和图像，重建三维信息，从而全方位监测运动者动作，利用深度学习神经网络结合传统机器学习技术，进行运动体态监测，通过对比将纠正信息反馈给目标运动者。

在本公开内容的一个方面，提供了一种基于多摄像头的运动姿态监测和指导方法，包括如下步骤：通过多个摄像头获取至少一个目标运动者的运动图像和/或视频数据；通过姿态识别算法从所述运动图像和/或视频数据中识别出所述目标运动者，并输出运动姿态监测所需要的人体体态图；基于所述人体体态图通过三维重建算法重建所述目标运动者的人体三维姿态信息；利用三维空间中的体态关键节点将所述目标运动者与参考者进行骨骼配准；将经骨骼配准的所述目标运动者与所述参考者在某一时刻或预设时间段内的所述人体三维姿态信息进行比较；基于所述比较结果，对所述目标运动者的动作完成度和质量进行评估；以及基于所述评估结果，向所述目标运动者提供反馈，其中所述反馈包括所述动作是否达标和/或运动优化建议。

在一个优选实施方式中，所述摄像头可以包括以下至少一种：平面摄像头、深度摄像头、红外摄像头或热成像仪，其中所述深度摄像头可以包括以下至少一种：时间飞行摄像头、结构光摄像头或双目摄像头。

在另一优选实施方式中，所述输出运动姿态监测所需要的人体体态图进一步包括：通过人体的关键节点，确定人体的姿态，其中所述关键节点包括以下至少一种：肢体关节点、面部关键点，并且所述关键节点的位置信息用坐标表示；确定至少一个所述关键节点在所述运动图像或视频中的位置坐标；确定至少一个所述关键节点的类别信息，其中所述类别信息包括：感兴趣的身体特征信息，所述感兴趣的身体特征信息包括：针对不同应用的人体监测任务和人体生物力学模型分析所需要的人体部位关键特征点；确定至少一个所述关键节点的状态信息，其中所述状态信息包括：可见、不可见、以及可推测或不可推测；以及通过所述关键节点之间的位置关系和可信度，将所述关键节点链接成所述人体体态图，并且通过所述人体体态图的变化来判断动作。