[发明专利]一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法

说明书

本发明提供了一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，针对视觉姿态估计中遮挡问题、无法获得三自由度旋转信息的缺点，将九轴姿态传感器信息与视觉信息互补，采用数据融合算法，非线性优化视觉信息、惯性信息以及人体姿态信息，利用正向运动学和反向运动学实时推测人体骨骼节点的旋转角度和位置信息。然后将学生舞蹈视频与老师视频进行动作相似对比，根据容错度筛选出错误动作区间，实现错误动作纠正可视化。

技术领域

本发明属于人体姿态估计领域，具体涉及人体舞蹈动作多模态融合的姿态估计方法。

背景技术

人体动作捕获与识别具有广阔的市场空间和应用前景，广泛应用于动画制作、人机交互、虚拟现实、体育训练、医疗康复等领域。穿戴式传感器搭建的人体动作捕捉系统具有成本低、操作简单、没有时空限制和遮挡问题的优点。

随着经济技术的发展和人们生活水平的提高，人们对于健康的关注程度也越来越高。因此，对于人体步态的分析和人体模型的建模，就显得尤为重要。对于人体步态分析和建模的方法，目前主要是基于计算机视觉的步态分析技术和基于MEMS惯性传感器的步态分析技术两种。

基于计算机视觉2D摄像头的动作捕捉系统，主要采用卷积神经网络捕获特定关节点的特征，从而凸显相关关节的坐标，进行人体的二维建模。该方法需要采集大量的数据样本作为训练数据集，同时不能有摄像头的遮挡。因此实施起来并不方便。

而基于MEMS惯性传感器的步态分析系统，主要由多个MEMS惯性传感器组成，人体关节每个测量部位都穿戴惯性传感器，惯性传感器会反馈在运动过程中的角速度，加速度，磁力值以及运动姿态角度等测量信息，同时设置基于加速度传感器，陀螺仪，磁力计的数据融合算法，利用正向运动学和反向运动学实时推测出整个人身体的运动参数。该方法的缺点是，惯性传感器在每次测量前都需要校准，且校准后不能移动相关传感器的位置，同时传感器容易受到周围磁场的干扰，对于普通患者而言操作较复杂。

运动捕捉技术是由运动捕捉系统利用外部设备来对人体动作姿态和人体位移进行捕获转换为数字数据。运动捕捉系统有多种技术实现，现在使用比较多的包括：惯性动作捕捉技术，需要人体穿戴配备惯性传感器的衣服；光学式动作捕捉技术，通过图像采集器采集数据进行处理，其往往需要人体穿戴带有反光标识点衣服，而且容易受环境光照影响。

发明内容

针对现有问题的不足，本发明提供的一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法解决了现有技术中的缺点和问题。

本发明所采用的技术方案包括以下步骤：

一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，包括以下步骤：

S1、根据16个九轴姿态传感器提供的3轴加速度、3轴角速度以及3轴磁偏角数确定人体姿态估计模型。

S1.1将人体骨骼框架视为一个刚体模型，骨骼节点初始坐标系B与全局坐标系g对齐，定义人体骨骼数量n_b＝16，(b＝1，2，……，16，表示骨骼节点的编号)，骨骼节点分别为头顶节点、头中节点、腹部节点、左肩节点、右肩节点、左肘节点、右肘节点、左腕节点、右腕节点、腹部节点、左髋节点、右髋节点、左膝节点、右膝节点、左脚节点、右脚节点。其中，将腹部节点视为根骨骼节点n1，子骨骼节点n_b(b＞＝2)都与其父节点有相对位移矩阵t_b和相对旋转矩阵R_b。每个骨骼节点有3个旋转自由度。根节点具有全局位移量(x1，y1，z1)，因此，采用48(e＝3*n_b＝48)个自由度来表述整个人体的运动。定义48个变量为一个48维的向量v，并作为优化变量。

S1.2每个骨骼点在全局坐标系下的齐次变换矩阵其中P(b)为全部骨骼的集合。相机坐标系c和全局坐标系g的齐次变换矩阵