[发明专利]一种基于Kinect的海军旗语训练方法

权利要求书

1. 一种基于Kinect的海军旗语训练方法，其特征在于：该方法包括旗语动作的学习和旗语动作的测试两种模式，旗语动作的学习模式包括顺序学习方式和随机学习方式，用户在训练开始时可通过鼠标、手势控制或语音输入选择任一学习方式，顺序学习方式按照旗语动作图解中的字符顺序依次进行旗语动作的训练；随机学习方式按照随机生成的字符训练与之对应的动作，学习模式下Kinect实时侦测用户动作，将标准姿势库中与屏幕提示字符内容相对应的标准动作模板与用户动作进行比对，若符合标准姿势库的动作规范并保持3秒时间则以得分形式提示动作完成，进入下一旗语动作的训练，否则根据动作差异指出用户动作存在的错误，并以文字和语音提示的形式为用户提供动作要领的指导，直至用户完成当前动作方可进入下一动作的学习；旗语动作的测试模式主要是旗语通信的文本翻译，用户首先以手势控制方式选择测试的难度等级，根据屏幕随机显示的通信内容，完成单一的或连续的旗语动作，Kinect侦测并识别用户动作后,根据识别到的旗语动作与其表示的字符间的关系,实时翻译用户旗语动作的含义，显示识别结果，并根据用户是否在规定的时间内完成相应旗语动作，作出得分评价，用户可通过屏幕显示的翻译内容与通信内容的差异直观比较，寻找差距。

2.根据权利要求1所述一种基于Kinect的海军旗语训练方法，其特征在于：旗语动作的学习和旗语动作的测试两种模式均通过Kinect采集到的用户动作特征值与标准姿势库的动作特征值进行比对完成动作识别；

1）采集上肢骨骼数据，建立动态标准姿势库

用户距离Kinect传感器1.5m-2m处，面对Kinect传感器，伸展双臂，保持水平伸直，Kinect自动采集上肢肩、肘和腕关节点LS、 LE、LW及RS、RE、RW 的三维坐标，计算并存储手臂长度数据；

右臂手腕节点到右肘节点的距离：

右臂肩节点到右肘节点的距离：

右手臂长度：

左臂手腕节点到左肘节点的距离：

左臂肩节点到左肘节点的距离：

左手臂长度：

选定手腕节点相对于肩节点的坐标数据为每一个标准旗语动作的特征值，建立标准姿势库；记左臂手腕节点LW的特征值为[LeftWrist_X，LeftWrist_Y，LeftWrist_Z]，右臂手腕节点RW的特征值为[RightWrist_X，RightWrist_Y，RightWrist_Z]，分别以肩关节为原点建立坐标系，用α_r、β_r、γ_r分别表示右肩坐标系中右肩节点指向右腕节点的有向线段与x、y、z轴正向的夹角；用α_l、β_l、γ_l分别表示左肩坐标系中左肩节点指向左腕节点的有向线段与x、y、z轴正向的夹角，由解析几何的知识可知，从原点出发的任一单位有向线段的方向余弦即是其端点坐标，则手腕特征值可表示如下：

α_r、β_r、γ_r、α_l、β_l、γ_l角度的取值取决于旗语动作左、右臂的姿势；

2）判断手臂伸直程度，提取当前动作特征值，与标准姿势库的特征值进行比对，识别用户当前动作，方法如下：

① 判断手臂伸直程度

旗语通信中，为尽量扩大手旗挥动的范围，准确传达通信信息，要求双臂伸展，手臂与信号旗呈一条直线，判断方法：以肩关节为中心，取出关节坐标数据，利用两个关节点之间的距离和余弦定理，计算手臂肩、肘及腕三个关节点（Point S、Point E 、Point W）的夹角，判断手臂弯曲程度ArmAngle是否在期望角度ArmAngle的误差范围δ内，此条件可表示为：

条件1：Condition1 = { Point S，Point E ，Point W，ArmAngle，δ}

根据各关节点间的距离及余弦定理可以计算出其夹角为：

      

其中，d₁,d₂,d₃分别是手臂腕关节点与肘关节点、肘关节点与肩关节点、腕关节点与肩关节点之间的距离；

判定条件为          δ为角度阈值；

② 在满足条件1的基础上，判断用户双臂关节活动范围是否处于允许的深度阈值范围ε内，此条件可表示为

条件2 ： Condition2 = {JointType，CurrentShoulder_Z，CurrentWrist_Z，ε}

③ 提取用户当前动作特征值，通过将实时获取的手腕节点坐标和标准动作的手腕节点坐标作对比，判断动作是否正确；

实时获得的手腕节点坐标为（CurrentLeftWrist_X, CurrentLeftWrist_Y, CurrentLeftWrist_Z）和( CurrentRightWrist_X, CurrentRightWrist_Y, CurrentRightWrist_Z)，若满足：

则判断该动作正确，为动作误差，取；

动态旗语的动作识别

旗语动作中代表“错误”的动作是动态连续动作，在识别过程中的判别方式有别于静态姿态，除了需按前述判别步骤外，还需判别运动过程中两手臂是否保持同步，运动过程中检测每一帧的左、右手手腕节点特征值，判定条件为：

 

若每一帧的检测都满足此条件，则判定为两手臂保持同步；

识别过程中记录用户上下挥动手臂的次数，当达到四次的时候根据上述判别条件的判别结果来判断动作是否正确，并在用户手臂再次处于上极限位置时开始新一轮的动作识别。

3.根据权利要求1所述的一种基于Kinect的海军旗语训练方法，其特征在于：所述训练方法的学习和测试模式提供了手势控制和语音识别两种体感人机交互方式，Kinect捕获用户的语音输入信息，正确识别后触发相应程序，实现旗语学习方式的选择、训练动作的选择、训练界面切换及其它人机交互操作，为提高单个字符的语音识别效率，使得语音控制更加准确可靠，本发明以无线电通信中的标准字母解释法为依据，取各个字母对应的英文词汇作为选取旗语动作进行学习和测试的语音命令。