[发明专利]一种基于kinect实现电力培训仿真的方法及系统

摘要

本发明公开了一种基于kinect实现电力培训仿真的方法及系统，该方法包括基于kinect获取培训人员的动作姿态信息；采用模板匹配和动态规划相结合的方法来动态识别出培训人员的动作类别；采用有限状态机将动作类别和动作类别所对应的电力培训仿真的上下文来加以描述，以培训人员的动作类别作为转换函数来完成仿真状态的转移；基于XML描述有限状态机控制仿真行为的逻辑变化，并通过三维虚拟技术展示出来。本发明实施例利用kinect来增强电力培训体验感的方法，可使电力培训人员通过肢体动作来操作仿真中的虚拟成员，使培训人员有身临其境的感觉。

主权项

一种基于kinect实现电力培训仿真的方法，其特征在于，包括如下步骤：基于kinect获取培训人员的动作姿态信息，包括：根据Kinect for windows sdk提供的实时骨骼节点的3D位置，某一时刻获取节点的位置，从而获知节点之间的角度以及相对位置；在连续实时捕捉的情况下，获得节点的运动向量；再由关节点的运动向量来识别出培训人员的动作指示；这些识别过程包括对两腿、两臂和两手作识别，根据培训仿真的需要，腿和臂的识别只需判断出抬腿、收腿、抬臂、降臂、左摆臂和右摆臂；对手掌的识别则包括转手，握拳，伸开五指及各手指的弯曲和伸直；以及包括：对从Kinect中获取的深度信息流数据和骨骼节点信息流数据进行预处理以及采用Border‑Following算法对已经分割的图片进行轮廓检测处理，再运用K‑curvature算法来辨别指尖，将图像轮廓上的点依次存入数组中，利用K‑curvature算法计算任意一点的近似曲率；对同一个手势的时间序列长度进行优化，保留标记手势特性的特征向量；采用模板匹配和动态规划相结合的方法来动态识别出培训人员的动作类别，采用动态时间规整DTW算法，通过采用对特征信号进行伸长或缩短直至与标准模式的长度一致，以使得与模板更好地匹配，根据动作的时间过程，从kinect所获得的连续多帧中计算出动作的位置序列信息，由此序列构建出运动方向矢量，其矢量元素为0、1和‑1，分别代表不动，向上或向下运动；采用有限状态机将动作类别和动作类别所对应的电力培训仿真的上下文来加以描述，以培训人员的动作类别作为转换函数来完成仿真状态的转移，根据确定有限状态机的定义:AD＝(S，∑，δ，K，F)，其中：S：状态的非空集，此处指培训人员的状态，以及对应的仿真行为的执行；∑：对应的字符集，此处指仿真培训人员行为，用三维虚拟技术来展现；δ:状态转换函数，S×∑→S的单值映射；δ(Si,a)＝Sj，Si，Sj∈S，此处指仿真培训人员的一个行为结果，用三维虚拟技术来展现；a∈∑，指仿真培训人员的某一行为；K：初始状态；F：终止状态；转移函数δ包括了两腿和两臂的动作，具体为抬腿、立腿、抬臂、降臂、左摆臂和右摆臂；以及两手的动作，具体为转手，握拳，伸开五指及各手指的弯曲和伸直；字符集∑是转移函数δ的行为展现，包括了前行、直立、下蹲、拐弯、弯腰、抬臂、降臂、转手、握拳、伸开五指及各手指的弯曲和伸直；转移函数δ是用来控制状态变化的，用手臂的左转或右转来控制∑所代表的培训人员行为的展现，用左转手臂表示培训人员左转弯，或用右转手臂表示培训人员右转弯；基于XML描述有限状态机控制仿真行为的逻辑变化，并通过三维虚拟技术展示出来，包括：对每个作业任务进行描述，描述内容如下：<任务>任务名</任务>该任务包含的状态集描述为：其中状态名包括：前行、直立、下蹲、拐弯、弯腰、抬臂、降臂、转手、握拳、伸开五指及各手指的弯曲和伸直；动作名包括：抬腿、立腿、抬臂、降臂、左摆臂和右摆臂；以及两手的转手、握拳、伸开五指及各手指的弯曲和伸直。