[发明专利]基于Kinect的孤独症儿童互动影像装置及方法

权利要求书

1.一种基于Kinect的孤独症儿童互动影像装置，由地毯、隔离柱、计算机及辅助游戏软件、显示器、Kinect体感摄影机、音箱组成，其特征在于：所述Kinect体感摄影机置于支架上，并通过数据线与计算机连接，计算机控制Kinect体感摄影机对患儿进行深度数据的采集与语音信号的传输，并将接收到的深度数据通过Kinect体感摄影机的骨骼捕捉函数计算得到患儿的骨骼坐标数据发送给游戏引擎，使骨骼坐标数据形成的动作转换为游戏引擎定义的事件，便可将辅助游戏软件纳入儿童的交互训练中；所述计算机与显示器相连接，将训练系统与辅助游戏软件显示在显示器上，使患儿站在显示器前，通过手势与肢体动作可独立完成整个交互训练；所述计算机与两个左右放置的音箱相连接，用于孤独症儿童使用辅助游戏软件时通Kinect-计算机-音箱三位一体对其进行语音指导，并且通过音箱为患儿提供了一个沉浸式的交互环境，有助于患儿认知沟通能力的提高；所述显示器前面放置有适合儿童活动的地毯，地毯周围放置有隔离柱。

2.根据权利要求1所述的基于Kinect的孤独症儿童互动影像装置，其特征在于：所述Kinect体感摄影机包括三个摄像头、基座、感应器、电动马达，三个摄像头，正向从左到右分别是RGB彩色摄像头、红外线发射器和红外线CMOS摄像头，底部具有麦克风阵列，用于探测周围的语音，基座和感应器之间设有一个电动马达，通过程序能够调整俯仰角度，所述感应器分别用来获取 RGB、深度数据和音频数据。

3.根据权利要求1所述的基于Kinect的孤独症儿童互动影像装置，其特征在于：所述显示器的大小为22寸，分辨率为1920×1080，屏幕比例为16:9 。

4.一种用于权利要求1-3任一所述的基于Kinect的孤独症儿童互动影像装置的辅助游戏软件的设计方法，其特征在于：包括：

（1）以应用行为分析训练为基础设计辅助游戏软件

应用行为分析训练采用行为塑造模仿原理，以应用行为分析训练为基础，设计 “跟我做”的动作模仿辅助游戏软件；

启动“跟我做”的动作模仿辅助游戏软件后，虚拟动画人物首先进行游戏介绍；由患儿通过Kinect语音控制选择动作模仿的难度级别；虚拟动画人物做出动作、由儿童进行模仿；儿童做出模仿动作后、Kinect实时记录儿童的骨骼点与虚拟形象的配准度，评估模仿正确与否；若儿童做对则通过语音控制给予表扬，若儿童做错则通过语音控制给予鼓励再做一遍；儿童根据自己的体验感受可选择其他难度级别、或退出程序；

（2）以图片交换交流系统为基础设计辅助游戏软件

以图片交换交流系统疗法为基础，设计一款 “选选看”的认知训练辅助游戏软件；该“选选看”的认知训练辅助游戏软件用于对孤独症儿童进行训练识别日常生活中的各种物品，医师或者父母根据儿童的兴趣爱好选择一些刺激物，随着训练深度的进行可以在训练系统中进一步扩展刺激物；该“选选看”的认知训练辅助游戏软件应用可分为三个阶段：

第一阶段，启动游戏后，出现虚拟动画人物和场景，虚拟动画人物开始介绍现在的情景，并提供可选择的刺激物，如电影或动画的截图，小屏幕动画播放，并等待患儿利用手势识别进行图片的选择，一旦正确的图片被选择，屏幕上的虚拟动画人物做出相应的动作和表情来鼓励患儿，在训练系统中也设置有相应的音乐鼓励，通过音箱外放出来；

第二阶段，集中于简单的言语交流，让患儿开始学习简单的句子组成，训练患儿将词语“我要”和图片选择结合，以实现表达“我要什么”的要求，儿童和虚拟动画人物开始用简单的语言和图片结合进行交流，同时伴随有语音指导；

第三阶段，以问答的方式结合患儿的选择发出语音提示，孩子按照语音提示说出自己的需求，如具体想选择什么图片。

5.根据权利要求4所述的设计方法，其特征在于：根据孤独症的治疗方式，还可设计多种针对孤独症儿童治疗与干预的游戏软件，如：虚拟开汽车、虚拟图书、虚拟画板；还可结合现已开发出的体感小游戏对孤独症儿童进行智力开发的软件，如：水果忍者、俄罗斯方块。

6.一种应用权利要求1-3任一所述的基于Kinect的孤独症儿童互动影像装置对加入孤独症儿童的信息存储与交互效果进行评估方法，包括：

（1）录入、修改或删除患儿信息；

（2）录入、修改或删除患儿刺激物信息，包括患儿针对多个刺激物类别的偏好项或厌恶项；

（3）录入和自动生成针对多个评估类别的多个条目的评估信息；依据所述评估信息生成图形化显示的评估报告；以及依据所述偏好项或厌恶项及所述评估信息，录入和自动生成下一阶段训练目标。