[发明专利]一种运用精细手势识别装置辅助自闭症儿童配对训练的系统及方法

说明书

本发明是一种运用精细手势识别装置辅助自闭症儿童配对训练的系统及方法，系统包括计算机和精细手势识别装置，所述计算机中运行配对训练系统，所述配对训练系统包括输入模块、数据处理和可视化模块、动作捕获模块、输出模块、模型库。在动作捕获模块运用识别装置对抓取动作进行精细手势识别，捕捉手的位置和动作，实时映射至手的虚拟三维模型上，呈现在虚拟场景中相对的位置。本发明的目的是在训练过程中协助施训者安排训练进程以及记录训练数据，减少施训者负担，以及通过手势识别保留受训者真实自然的动作，提高训练的效果。本发明应用于自闭症儿童的配对训练，设备成本低廉、易于普及。

技术领域

本发明属于特殊教育自闭症儿童基本技能训练领域，具体地说，是一种运用精细手势识别装置辅助自闭症儿童配对训练的系统及方法。

背景技术

人机自然交互技术，简称自然交互(Human－computer Nature Interaction，HCNI；或Human－machine Nature Interaction，HMNI)。自然交互现在已经是一个用来指代用手势或其他肢体动作作为输入来控制一个系统的各种各样的交互方式的概括性术语。(参见O'HARA K,HARPER R,MENTIS H,et al.On the naturalness of touchless:Puttingtheldquo；interactionrdquo；back into NUI[J].ACM Transactions on Computer-Human Interaction,2013,20(1):526-36.)

在新媒体联盟(New Media Consortium,NMC)2010～2016年发布的《地平线报告》中，以自然交互技术为内核的手势计算、可穿戴设备、虚拟助手设备等技术已经成为教育领域的关注热点(http://www.nmc.org/nmc-horizon/)。诸如MicrosoftKinect和LeapMotion这样低成本的实现媒介的推出极大地促进了自然交互技术的推广。(参见Pescarin,S.,Pietroni,E.,Rescic,L.,Omar,K.(2013).NICH:A preliminary theoretical studyon natural interaction applied to cultural heritage contexts.Paper presentedat the Digital Heritage International Congress.)

随着教育信息化的发展，教育领域对新技术的关注也越来越多。自然交互技术作为人机交互技术的发展方向对教育的方法、过程、资源提供了新的设计、开发、应用、管理和评价的思路，引发了教育领域关于自然交互应用的模式和作用的研究。

目前，自然交互技术的教育应用探索在按键式或触屏式人机交互难以或不能实现的教学情景、动作技能的教学、以动作技能带动认知发展的教学三个方面已经有了一定的研究成果。这些研究成果表明自然交互技术在教育中的应用主要可以起到以下作用：

(1)记录学生的变化，跟踪学生的学习情况。(参见李卉,王蔚.(2014).基于Kinect体感交互的儿童注意力测评系统.现代教育技术,24(7),120-126.)

(2)提升教学的趣味性，提高学生的学习动机。(参见黎巧玲,杨晓娣.(2016).教育领域应用体感交互技术的探索.电脑编程技巧与维护(11),82-82.)