[发明专利]一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法

权利要求书

1.一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，其特征在于，包括以下步骤：

S1、根据16个九轴姿态传感器提供的3轴加速度、3轴角速度以及3轴磁偏角数确定人体姿态估计模型；

S2、根据机器视觉Kinect相机确定人体姿态估计模型，确定相机位置测量值相机坐标系c，p为世界坐标系的一点，齐次变换矩阵相机坐标系c，全局坐标系g，旋转矩阵惯性坐标系n，全局坐标系g，位移矩阵旋转矩阵惯性传感器i，骨骼坐标系b_i；

S3、设置九轴陀螺仪传感器人体姿态估计模型更新频率与视觉人体姿态估计模型更新频率一致；确定旋转测量值R_i，惯性传感器i，加速度测量值a_i，惯性传感器i；定义优化变量v、九轴陀螺仪的旋转约束E_R(v)，R表示旋转，速度约束E_V(v)，V表示速度，加速度约束E_A(v)，A表示加速度，位置约束E_P(v)，P表示位置，磁场干扰误差E_I(v)，I表示磁场干扰，和人体姿态先验约束E_prior(v)，prior表示先验约束；设置各变量的权重，权重的设置具有通用性，优化姿态估计模型；

S4、计算各优化项在统一坐标系后的测量参数：旋转矩阵全局坐标系g，骨骼坐标系b_i，加速度测量值全局坐标系g，惯性传感器i，位移测量值相机坐标系c，p为世界坐标系的一点，与旋转矩阵估计值全局坐标系g，骨骼坐标系b_i、加速度估计值全局坐标系g，惯性传感器i、位移估计值相机坐标系c，p为世界坐标系的一点；求解非线性最小二乘优化问题，得到最优解v，v表示速度；确定融合后的人体姿态估计模型，并进行视频可视化展示；

S5、将学生视频与老师视频进行动作对齐；提取视频的关键帧；将学生和老师人体骨架归一化；进行学生和老师骨架匹配；

S6、定义区间动作相似距离，并设定其阈值为D，根据对比结果找出动作差异区间，可视化显示；达到矫正的目的；

所述S2中，相机坐标系c表示Kinect相机的坐标系，惯性坐标系n表示所有九轴陀螺仪经过标定后的统一坐标系，全局坐标系g与骨骼节点的初始坐标系对齐。

2.根据权利要求1所述的一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，其特征在于，所述S3中，所述的九轴陀螺仪的旋转约束E_R(v)，R表示旋转，v表示速度，通过每个陀螺仪旋转矩阵的测量值和估计值的差异来确定，速度约束E_V(v)，V表示旋转，v表示速度具体值，通过最小化每个陀螺仪速度的测量值与估计值间的差异来确定、加速度约束E_A(v)，A表示加速度，v表示速度，最小化每个陀螺仪加速度的测量值与估计值间的差异来确定、位置约束E_P(v)，P表示位置，v表示速度，最小化每个骨骼节点全局位置的测量值与估计值间的差异来确定、磁场干扰误差E_I(v)，I表示磁场干扰，v表示速度，通过人体所在位置的磁场误差确定；人体姿态先验约束E_prior(v)，prior表示先验约束，v表示速度，通过已有人体姿态估计数据集来建立。

3.根据权利要求1所述的一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，其特征在于，所述S4中，全局坐标系g，骨骼坐标系b_i，是在九轴陀螺仪中读取的旋转信息、全局坐标系g，惯性传感器i，是在九轴陀螺仪中读取的加速度信息，相机坐标系c，p为世界坐标系的一点，是在Kinect相机中中读取的人体各骨骼节点的位置信息。