[发明专利]一种运用精细手势识别装置辅助自闭症儿童配对训练的系统及方法

摘要

本发明是一种运用精细手势识别装置辅助自闭症儿童配对训练的系统及方法，系统包括计算机和精细手势识别装置，所述计算机中运行配对训练系统，所述配对训练系统包括输入模块、数据处理和可视化模块、动作捕获模块、输出模块、模型库。在动作捕获模块运用识别装置对抓取动作进行精细手势识别，捕捉手的位置和动作，实时映射至手的虚拟三维模型上，呈现在虚拟场景中相对的位置。本发明的目的是在训练过程中协助施训者安排训练进程以及记录训练数据，减少施训者负担，以及通过手势识别保留受训者真实自然的动作，提高训练的效果。本发明应用于自闭症儿童的配对训练，设备成本低廉、易于普及。

主权项

一种运用精细手势识别装置辅助自闭症儿童配对训练的系统，其特征在于：包括计算机和精细手势识别装置，所述计算机中运行配对训练系统，所述配对训练系统包括输入模块、数据处理和可视化模块、动作捕获模块、输出模块和模型库；输入模块，实现设置参数的功能，施训者通过按键选择或者文本输入的方式选择训练的目标物、干扰物种类和个数、训练次数；设置的参数将被传递至数据处理和可视化模块和输出模块；数据处理和可视化模块，实现从模型库导入模型、实时处理模型数据以及将模型变化可视化的功能；根据输入模块设置的参数，判断是否达到训练次数，并在每一次训练中根据设置的参数从模型库中调用模型，呈现目标物和干扰物的仿真3D模型；设置手部仿真3D模型，在动作捕获模块通过精细手势识别装置识别受训者手部的位置和动作后，将受训者手的位置和动作映射至手部仿真3D模型上，对手部仿真3D模型和物品仿真3D模型间的交互进行判别，判断是否抓取正确模型至正确位置，即在有模型和目标物模型碰撞后判断配对是否正确；动作捕获模块，实时捕获受训者手部位置和动作；运用精细识别装置对抓取动作进行精细手势识别，捕捉手部的位置和动作，与数据处理和可视化模块一起作用，将手部的位置和动作实时映射至手部仿真3D模型上，呈现在虚拟场景中相对的位置，用手部仿真3D模型和物品仿真3D模型的交互替代受训者手部和物品仿真3D模型的交互；输出模块，实现呈现反馈和报告的功能；在每次配对训练中，根据数据处理与可视化模块的判断结果输出正确或错误的声音和图像反馈；在训练次数完成后输出训练报告，包括目标物、干扰物种类和个数、训练次数、正确次数、正确率、训练用时；模型库，实现储存物品仿真3D模型的功能，供数据处理和可视化模块调用。