[发明专利]一种虚拟舞蹈教学方法及系统

权利要求书

1.一种虚拟舞蹈教学方法，采用虚拟舞蹈教学系统；

其特征在于：所述系统包括动作捕捉模块、专业舞蹈动作库构建模块、虚拟舞蹈教练构建模块和舞蹈评价模块；

所述动作捕捉模块包括专业舞蹈教练动作捕捉子模块与学员动作捕捉子模块；所述专业舞蹈教练动作捕捉子模块用于对专业舞蹈教练的动作进行捕捉、优化，确定舞蹈的标准动作；所述学员动作捕捉子模块用于对学员的舞蹈动作进行捕获，以用于舞蹈动作的对比评价，促进舞蹈学习；

所述专业舞蹈动作库构建模块包括：专业动作表征子模块、骨骼点映射子模块和专业动作存储子模块；所述专业动作表征子模块用于建立舞蹈动作编码标准，对捕捉和优化后的舞蹈动作进行编码；所述骨骼点映射子模块用于解决专业动捕采样与Kinect采样数据不一致的问题，以方便进行动作评价；所述专业动作存储子模块用于对优化后的专业舞蹈动作存储到XML文件中，形成驱动舞蹈的专业动作库；

所述虚拟舞蹈教练构建模块包括舞蹈教练动作信息采集子模块和等比例建模子模块；所述信息采集子模块用于舞蹈人物构建，对需要创建的舞蹈系统的人物进行剖析，拍摄相关人物多个视图，以方便建模；所述等比例建模子模块用于进行场景与人物的设计；

所述舞蹈动作评价模块包括学员动作数据帧与标准教练动作数据帧的对齐子模块和对比评价子模块；所述学员动作数据帧与标准教练动作数据帧的对齐子模块用于解决学员动作数据帧与教练动作数据帧间存在的时间差问题；所述对比评价子模块用于根据专业舞蹈教练动作库标准，对实时捕捉到的学员动作进行评价；

所述方法包括以下步骤：

步骤1：舞蹈教练专业动作捕捉；

具体实现包括以下子步骤：

步骤1.1：确定专业动捕数据需要的人体49个骨骼点；所述49个骨骼点包括头、中肩关节、脊柱第一点、中髋关节、左肩关节、左肘关节、左腕关节、左手、右肩关节、右肘关节、右腕关节、右手、左髋关节、左膝盖、左踝关节、左足、右髋关节、右膝盖、右踝关节、右足、右中指第一点、右中指第二点、右中指第三点、右中指第四点、右食指第一点、右食指第二点、右食指第三点、右食指第四点、右拇指第一点、右拇指第二点、右拇指第三点、右拇指第四点、左中指第一点、左中指第二点、左中指第三点、左中指第四点、左食指第一点、左食指第二点、左食指第三点、左食指第四点、左拇指第一点、左拇指第二点、左拇指第三点、左拇指第四点、头顶、脖颈、脊柱第二点、右足尖、左足尖；

步骤1.2：将LED粘贴于人体49个骨骼点处，LED之间通过线缆连接，由绑在人体表面的电源装置供电；

步骤1.3：通过phasespace光学动捕仪捕捉舞蹈教练的专业动作，捕捉的每帧里面有49个光点；

步骤2：动作库构建；

具体实现包括以下子步骤：

步骤2.1：根据kinect与大部分舞蹈的特点删选并确定驱动的20个骨骼关节点；所述20个骨骼关节点包括头、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、肩关节中心、脊、髋关节中心、右髋、右膝盖、右踝、右脚、左髋、左膝盖、左踝、左脚；

步骤2.2：根据骨骼点的位置对应关系，将捕捉的每帧49个光点与Kinect捕捉的20个骨骼关节点相对应；

将PhaseSpace的49个光点映射到Kinect的20个骨骼点时，从49个光点中取得对应部位点或者临近部位点，与Kinect捕捉到的20个关节点相对应；

步骤2.3：定义动作编码格式；

以(x、y、z)表示关节的位置信息；(q_x、q_y、q_z、q_w)是以四元数的形式表示该关节的旋转信息，其中(q_x、q_y、q_z)是该关节旋转围绕的向量，q_w则为旋转的角度；

步骤2.4：实时计算20个骨骼关节点的运动信息，存储于动作库中，形成舞蹈的标准XML格式动作库；

步骤3：根据动作库，驱动教练模型进行舞蹈教学；

具体实现过程是：通过采集舞蹈教练的信息后，首先以三视图形式进行舞蹈人物模型的等比例建模，舞蹈教练的信息包括人物的服装、首饰、身姿的多个视图；接着进行贴图，给模型附上材质包括皮肤衣服；最后进行蒙皮，给模型绑定骨骼，能够在之后通过phasespace或者kinect驱动；

运用光学动作捕捉系统捕捉专业教练的专业舞蹈动作，对捕获到的动作进行去噪、优化，运用动作编码系统对教练动作以XML形式表征，以形成包含每一帧中各骨骼点运动信息的动作库；具体实现包括以下子步骤：

步骤3.1：关节点标定

为了获取适合与Kinect对比专业的动作数据，首先将光学动捕数据得到的49个关节运动进行标定成Kinect所能驱动的20个关节点，并对这些点进行编号；

步骤3.2：构建关节描述信息；

考虑每个关节需要记录的信息，该构建方法记录每个关节的位置和旋转信息；其中，使用三维向量P记录关节位置：

p＝[x y z] (1)

p的三个分量x，y，z分别表示关节点在空间坐标参照系中的x、y、z三个轴上的投影的值；

同时使用四元数Q记录关节的旋转，Q的定义如公式(2)所示：

Q＝[q₀ q₁ q₂ q₃]^T

|Q|²＝|q₀|²+|q₁|²+|q₂|²+|q₃|² (2)

在三维坐标系中，用四元数Q表示绕某个轴的旋转，结合上述公式有：

基于公式(1)(2)(3)，定义描述关节信息的XML格式；

步骤3.3：关节信息的XML描述；

完成关节信息的定义后，结合动作文件的序列特点，定义完整的动作文件的XML形式；

步骤3.4：确定动作单元，进行动作入库；

对去噪、优化后的动作数据进行分类并确定动作单元与连续动作；然后进行xml格式的存储，以生成可以驱动教练模型的动作库；

步骤4：在舞蹈学员学习舞蹈时进行动作对齐；

首先利用Kinect对学员动作进行实时捕获；然后Kinect捕捉的动作驱动学员模型与教练模型进行虚拟交互学习；同时提取学员每个关节的数据，实时获取20个关节点组成的19根骨骼的信息；

其中根据实时获取的20个关节点组成的19根骨骼的信息，通过动作评价算法给出实时的判断与计算并反馈给用户；

具体实现包括以下子步骤：

(1)已知教练与学员对应关键帧的骨骼向量通过公式计算其与x、y、z轴的夹角余弦值(cosα，cosB，cosγ)，通过欧式距离公式计算学员与教练的对应骨骼的特征余弦的欧氏距离，选择所有帧N总的差异量，统计其中每帧的最大差异量df_max和最小差异量df_min；计算每帧的得分score_k后，计算N总帧得分的统计平均值作为最后得分score；

其中，df_k是第k帧的动作差异度；

(2)在教练标准动作的帧序列和学员动作的帧序列上分别建立两个窗口，其中比对窗口是以当前对比的教练帧为关联帧，向前后各取(N-1)/2帧，构成长度为N的比对窗口；学员动作窗口的起始帧与比对窗口起始帧对齐，计算每次滑动学员动作帧与教练动作帧的差异度根据差异度累积均值作比较，找出最小的那一帧进行对齐；

(3)对齐后进行计算评分score，并反馈给学员。

2.根据权利要求1所述的虚拟舞蹈教学方法，其特征在于，步骤1.3的具体实现包括以下子步骤：

步骤1.3.1：运用光学动作捕捉系统捕获舞蹈教练的特定49个骨骼点的舞蹈动作数据；

步骤1.3.2：对舞蹈动作捕捉数据进行去噪、删除重复动作、删除跳帧数据，调整不标准的动作数据处理。