[发明专利]一种运用精细手势识别装置辅助自闭症儿童配对训练的系统及方法

权利要求书

1.一种运用精细手势识别装置辅助自闭症儿童配对训练的系统，其特征在于：包括计算机和精细手势识别装置，所述计算机中运行配对训练系统，所述配对训练系统包括输入模块、数据处理和可视化模块、动作捕获模块、输出模块和模型库；

输入模块，实现设置参数的功能，施训者通过按键选择或者文本输入的方式选择训练的目标物、干扰物种类和个数、训练次数；设置的参数将被传递至数据处理和可视化模块和输出模块；

数据处理和可视化模块，实现从模型库导入模型、实时处理模型数据以及将模型变化可视化的功能；根据输入模块设置的参数，判断是否达到训练次数，并在每一次训练中根据设置的参数从模型库中调用模型，呈现目标物和干扰物的仿真3D模型；设置手部仿真3D模型，在动作捕获模块通过精细手势识别装置识别受训者手部的位置和动作后，将受训者手的位置和动作映射至手部仿真3D模型上，对手部仿真3D模型和物品仿真3D模型间的交互进行判别，判断是否抓取正确模型至正确位置，即在有模型和目标物模型碰撞后判断配对是否正确；

动作捕获模块，实时捕获受训者手部位置和动作；运用精细识别装置对抓取动作进行精细手势识别，捕捉手部的位置和动作，与数据处理和可视化模块一起作用，将手部的位置和动作实时映射至手部仿真3D模型上，呈现在虚拟场景中对应的位置，用手部仿真3D模型和物品仿真3D模型的交互替代受训者手部和物品仿真3D模型的交互；

输出模块，实现呈现反馈和报告的功能；在每次配对训练中，根据数据处理与可视化模块的判断结果输出正确或错误的声音和图像反馈；在训练次数完成后输出训练报告，包括目标物、干扰物种类和个数、训练次数、正确次数、正确率、训练用时；一次配对训练过程中，在干扰物个数不为0的情况下，每一次的干扰物应该随机变化；

模型库，实现储存物品仿真3D模型的功能，供数据处理和可视化模块调用。

2.根据权利要求1所述的运用精细手势识别装置辅助自闭症儿童配对训练的系统，其特征在于：在所述精细手势识别装置中识别受训者手势使用的是深度摄像头。

3.根据权利要求1所述的运用精细手势识别装置辅助自闭症儿童配对训练的系统，其特征在于：在所述模型库中一个种类下的物品仿真3D模型至少包含10个该类不同物品，所有物品仿真3D模型和手部仿真3D模型均表现真实物体形状、颜色特征，且有明显差别。

4.根据权利要求1所述的运用精细手势识别装置辅助自闭症儿童配对训练的系统，其特征在于：在所述动作捕获模块中手部仿真3D模型的动作和位置应实时反映出受训者手部动作和位置的变化。

5.根据权利要求1所述的运用精细手势识别装置辅助自闭症儿童配对训练的系统，其特征在于：在每次配对训练中以声音信号、按键控制或手势识别三种可选方式为施训者提供辅助判断受训者正确或错误、刷新场景、跳过本次训练的途径。

6.根据权利要求1所述的运用精细手势识别装置辅助自闭症儿童配对训练的系统，其特征在于：在所述输出模块中以图像和声音的方式给予受训者正确或者错误的反馈。