[发明专利]一种虚实融合的手功能康复训练系统及方法

说明书

技术领域

本发明涉及一种虚实融合的手功能康复训练系统，属于计算机视觉和医学虚拟现实技术领域。

背景技术

一些肢体受到损伤的病人除了必要的临床治疗外，还需要辅助以科学的康复训练，才能使损伤部位得到较好的恢复。随着科技水平的进步，医学虚拟现实技术研究也取得了一定进展，它可以弥补现有医学条件和资源的不足，避免真实实验或操作给患者所可能带来的危险，提高医疗服务的整体水平。目前，一些研究机构主要集中在康复机器人技术的研究，它是基于器械康复疗法，辅以虚拟现实和机器人技术，进行病人的肢体功能训练。但是，康复机器人设备昂贵，占用空间大，训练单调乏味，且需要医师指导。目前大型医院的康复科仍然以器械辅助的方法来进行康复训练。

还有一些通过使用数据手套对患者进行手部功能训练，该装置通过在手套中设置数据采集元件，对患者的手部动作进行采集，由于电子元器件过多，造成手套沉重，患者佩戴麻烦，而且沉重的手套有可能会对患者造成伤害，康复训练效果不佳。

基于此，如何研发一种手功能康复训练系统，使用安全、方便，占用空间小，且能够辅助患者获得较好的康复效果，是本发明需要解决的主要技术问题。

发明内容

本发明针对现有的康复训练系统，提供了一种虚实融合的手功能康复训练系统，成本低，占用空间小，对患者无伤害。

为了解决上述技术问题，本发明采用以下技术方案予以实现：

一种虚实融合的手功能康复训练系统，包括：

图像采集设备，用于实时采集多视点用户手部图像，并进行预处理后发送至后台处理设备；

后台处理设备，生成虚拟场景并显示输出，将所述多视点预处理图像进行三维建模生成手部三维模型，显示于虚拟场景中,并建立人机交互反馈机制。

进一步的，所述的图像采集设备包括：至少两台用于从不同视点采集图像的摄像机、用于支撑所述摄像机的支架、以及与摄像机一一对应连接的客户端，所述客户端接收摄像机采集的图像，并且对图像预处理。

为了便于调节摄像机的角度，在所述支架上设置有与所述摄像机一一对应活动连接的云台。

由于需要采集用户手部的多方位图像，所述的摄像机优选采用5台。

再进一步的，所述的后台处理设备包括服务器和显示器，所述的服务器生成虚拟场景，并输出至显示器进行显示，服务器同时接收预处理图像并进行三维建模，且将建立的手部三维模型显示于虚拟场景中，并且建立人机交互反馈机制。

其中，所述的人机交互反馈机制为：服务器对手部三维模型的变化进行计算分析，将虚拟场景做相应改变并显示输出。

基于上述的手功能康复训练系统，本发明同时提供了一种虚实融合的手功能康复训练方法，包括以下步骤：

（1）、图像采集设备采集背景信息，并存储；

（2）、图像采集设备实时采集多视点用户手部图像，并进行预处理后发送至后台处理设备；

（3）、后台处理设备显示输出虚拟场景，并对所述多视点预处理图像实时建模，将建立的手部三维模型显示于虚拟场景中；

（4）、虚拟场景根据手部三维模型的变化作出相应改变并显示输出。

进一步的，所述后台处理设备包括服务器和显示器，步骤（3）中包括以下子步骤：

（31）、在显示器端显示初始虚拟场景；

（32）、服务器实时接收多视点预处理图像，并建立手部三维模型；

（33）、将建立的手部三维模型显示于虚拟场景中。

又进一步的，步骤（3）中实时建模方法为：

（a）、根据八叉树建模原理对初始空间进行逐层剖分，得到手部的体素可视外壳模型；

（b）、利用行进立方体方法对体素可视外壳模型表面进行网格化处理；

（c）、利用基于视点的纹理贴图方法对表面网格化的可视外壳模型进行纹理映射。

再进一步的，在步骤（31）之前还包括标定摄像机的内外参数的步骤。

与现有技术相比，本发明的优点和积极效果是：本发明的虚实融合的手功能康复训练系统，通过搭建一个虚拟的训练环境，引导用户动作，使其在虚实交互中实现手部动作能力的训练，加快手功能康复，而且不会加重手部负担，做到了对手部无损伤；设备结构简单，占用空间小；制作成本低；本发明的虚实融合的手功能康复训练方法，操作简单；在无专业医师的指导下用户也可以进行适当训练，对用户无伤害；采用沉浸式的虚实交互系统进行实时训练，获得较好的训练效果。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明