[发明专利]一种虚实融合的手功能康复训练系统及方法

权利要求书

1.一种虚实融合的手功能康复训练系统，其特征在于，包括：

图像采集设备，用于实时采集用户多视点手部图像，进行预处理后发送至后台处理设备；

后台处理设备，生成虚拟场景并显示输出，将所述多视点预处理图像进行三维建模生成手部三维模型，显示于虚拟场景中, 并且建立人机交互反馈机制。

2.根据权利要求1所述的虚实融合的手功能康复训练系统，其特征在于，所述的图像采集设备包括：至少两台用于从不同视点采集图像的摄像机、用于支撑所述摄像机的支架、以及与摄像机一一对应连接的客户端，所述客户端接收摄像机采集的图像，并且对图像预处理。

3.据权利要求2所述的虚实融合的手功能康复训练系统，其特征在于，在所述支架上设置有与所述摄像机一一对应活动连接的云台。

4.据权利要求2所述的虚实融合的手功能康复训练系统，其特征在于，所述的摄像机为5台。

5.根据权利要求1-4任一项权利要求所述的虚实融合的手功能康复训练系统，其特征在于，所述的后台处理设备包括服务器和显示器，所述的服务器生成虚拟场景，并输出至显示器进行显示，服务器同时接收预处理图像并进行三维建模，且将建立的手部三维模型显示于虚拟场景中，并且建立人机交互反馈机制。

6.据权利要求5所述的虚实融合的手功能康复训练系统，其特征在于，所述的人机交互反馈机制为：服务器对手部三维模型的变化进行计算分析，将虚拟场景做相应改变并显示输出。

7. 一种虚实融合的手功能康复训练方法，其特征在于，包括以下步骤：

（1）、图像采集设备采集背景信息，并存储；

（2）、图像采集设备实时采集多视点用户手部图像，并进行预处理后发送至后台处理设备；

（3）、后台处理设备显示输出虚拟场景，并对所述多视点预处理图像实时建模，并将建立的手部三维模型显示于虚拟场景中；

（4）、虚拟场景根据手部三维模型的变化作出响应，并显示输出， 即虚拟场景是随用户手势动作的变化而变化的。

8.根据权利要求7所述的虚实融合的手功能康复训练方法，其特征在于，所述后台处理设备包括服务器和显示器，步骤（3）中包括以下子步骤：

（31）、在显示器端显示初始虚拟场景；

（32）、服务器实时接收多视点预处理图像，并建立手部三维模型；

（33）、将建立的手部三维模型显示于虚拟场景中。

9.根据权利要求7所述的虚实融合的手功能康复训练方法，其特征在于，步骤（3）中实时建模方法为：

（a）、根据八叉树建模原理对初始空间进行逐层剖分，得到手部的体素可视外壳模型；

（b）、利用行进立方体方法对体素可视外壳模型表面进行网格化处理；

（c）、利用基于视点的纹理贴图方法对表面网格化的可视外壳模型进行纹理映射。

10.根据权利要求8所述的虚实融合的手功能康复训练方法，其特征在于，在步骤（31）之前还包括标定摄像机的内外参数的步骤。