[发明专利]一种基于手势交互的便携式手部虚拟康复实验箱及方法

权利要求书

1.一种基于手势交互的便携式手部虚拟康复实验箱，主要包括上箱体和下箱体，其特征在于：上箱体和下箱体铰接组成一体，在上箱体内侧表面安装显示屏，显示屏驱动板镶嵌在上箱体内部，在上箱体的开合边内侧活动安装两段转动式杆体支架，在支架顶端安装摄像头；在下箱体中安装立式隔板将下箱体分为左右两个箱体，在下箱体的箱口处镶嵌安装游戏标志板；在左右两个下箱体的前侧板内分别镶嵌安装音箱；在右侧下箱体底部嵌入一块支撑板，在支撑板上安装控制处理器、电源模块和散热风扇，右侧下箱体的侧板上安装USB接口、网线接口、电源开关、复位键、电源接口并分别与控制处理器相连，在侧板上对应散热风扇位置开设散热孔；

所述控制处理器的输入端口与摄像头、电源开关、复位键通过数据线连接；控制处理器的输出端口与音箱连接，另有输出端口通过数据线经显示屏驱动板后与显示屏连接；控制处理器与USB接口、网线接口互通连接；电源接口与电源模块连接，电源模块再与控制处理器连接进行供电。

2.根据权利要求1所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特征在于：在支架顶端安装摄像头，在摄像头旁安装一个光照辅助装置，光照辅助装置是由光敏开关和LED灯头、电池串联组成。

3.根据权利要求1所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特征在于：在下箱体前侧顶部边缘固定安装弧形板体状的手臂托。

4.根据权利要求1所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特征在于：所述游戏标志板为长方形背景板，可选用木质或硬塑或钢制材料制成，大小与下箱体的箱口大小配套。

5.根据权利要求1或4所述的一种基于手势交互的便携式手部虚拟康复实验箱，其特征在于，所述游戏标志板分为如下四种背景板：

(1)第一种背景板，正面为黑色，边缘设有一圈白色边框，黑色部分的表面上开设大小不同的圆孔，在圆孔上可安插蘑菇型插钉；

(2)第二种背景板，正面为黑色，边缘设有一圈白色边框，黑色部分的表面由横竖线绘制成棋盘格；

(3)第三种背景板，正面为黑色，边缘设有一圈白色边框；

(4)第四种背景板，为阶梯状支撑板，在各阶梯面上绘制琴键或敲击键或琴弦线。

6.一种依赖权利要求1的手部康复方法，其特征在于，所述方法步骤如下：

(1)通过手势识别算法对控制处理器进行编程，使控制处理器具备手势识别处理功能；通过虚实融合算法对控制处理器进行编程，使控制处理器具备虚拟现实交互结合的功能；在控制处理器中通过编程设定虚拟游戏场景；在控制处理器中预存康复手势图形；

(2)根据需要选定游戏标志板的种类，将游戏标志板安装在下箱体的箱口处，调整摄像头高度和角度，使摄像头能够完整清晰的捕获游戏标志板的全景；

(3)人手可直接放置或手握辅助物体放置在游戏标志板上，保持手的静止休息状态，由摄像头捕捉到人手视频，将手势视频传入控制处理器，控制处理器每隔40ms采集一帧图像作为关键帧，然后将关键帧图像转换为灰度图，并提取关键帧手部轮廓；

基于形状配准方法将关键帧手部轮廓与手的静止休息状态的轮廓图进行相似性对比，如果两者相似，识别当前手势为手的休息位；

如果识别到手的休息位，则利用目标跟踪算法追踪该手势，同步提取手部轮廓，并计算动态手势特征，包括手势主方向、运动方向、手势几何中心在游戏标志板的位置、速度以及手部轮廓变化量；

如果手部轮廓发生变化，则将手部轮廓与指定的康复手势标准轮廓进行相似性配准，若相似性超过规定阈值，则认为当前手势与拟康复手势一致，然后结合动态手势特征；利用神经网络方法进一步判断手势类型，并由此发出动作信号来通过控制处理器来控制显示屏中虚拟空间物体的运动；

(4)虚拟游戏训练时，由摄像头捕捉到人手、辅助物体以及游戏标志板的图像，将图像转换为灰度图，并进行二值化处理；识别游戏标志板外围矩形边缘角点，计算平面单应矩阵；实时跟踪人手或辅助物体的轮廓，识别具体的手势类型以及手部、辅助物体中心在图像中的坐标，结合单应矩阵和手部大小变化关系，确定手部或辅助物体相对于游戏标志板左下角的空间坐标，从而确定虚拟手、辅助物体相对于虚拟世界坐标系的位置关系，进一步将该位置赋予虚拟游戏场景中的对应物体，实现虚拟物体移动，根据手势类型赋予虚拟物体相应合适的响应，完成手部虚拟康复训练。