[发明专利]利用增强现实技术的上肢康复训练系统

说明书

技术领域：

本发明涉及增强现实技术领域，特别是涉及一种基于增强现实技术的上肢康复训练系统及其实现方法。

背景技术：

人体的运动功能受损后一般需要较长的时间来进行康复治疗。传统的人体运动功能康复治疗大多以治疗师的手法操作为主,辅以一些简单的训练器械。现有的康复治疗通常在康复中心由医护人员管理指导进行，对人力、物力的耗费较大。训练内容多为机械性重复动作，患者缺乏与康复训练系统的有效互动，长时间训练会让患者产生厌烦情绪，极大地影响了康复的效果。

虚拟现实（Virtual Reality，VR）是一种迅速发展的新兴技术,它利用计算机和传感技术生成一个具有多种感官刺激的虚拟世界,可以使人产生一种身临其境的感觉。增强现实（Augment Reality，AR）技术是虚拟现实研究中的一个重要领域。增强现实技术将计算机生成的虚拟物体叠加在现实世界场景之上。通过运动跟踪实现虚拟物体与现实世界的无缝拼接。增强现实介于虚拟现实和纯粹的现实世界之间，是两者的有机结合。将增强现实技术应用到康复医疗领域，可以突破传统康复医疗方法的局限性。在增强现实康复训练系统中用户既可以接触到虚拟世界提供的多种形式信息反馈又可以与现实物体进行自然交互，因此增强现实康复训练具有虚拟康复训练和现实康复训练的双重优点。

发明内容：

本发明的主要目的在于为人体上肢运动功能受损提供一种基于增强现实技术的康复训练系统和方法，改进传统康复训练机械枯燥、资源利用率低下等问题。本发明对传统的人体上肢运动能力康复系统进行改良，通过结合增强现实技术，增加康复治疗的趣味性和提高患者的积极性，使得康复效果得到提高。

本发明提出一种利用增强现实技术的上肢康复训练系统，包括视频获取模块、增强现实注册跟踪模块、康复游戏算法模块、三维模型模块、实景融合模块、用户数据模块和治疗师模块；

所述视频获取模块实时获取患者手持带有增强现实标识的训练器材进行康复训练的实景视频；所述增强现实注册跟踪模块分析所述实景视频信息，识别视频信息中的增强现实标识并计算得到增强现实标识的参数信息；所述康复游戏算法模块根据患者手持训练器材上的增强现实标识的参数信息控制增强现实康复游戏中的角色进行游戏；

增强现实康复游戏的视频的产生方法是，由所述三维模型模块存储虚拟物体的三维模型；所述实景融合模块将所述实景视频和三维模型模块中的虚拟物体的三维模型融合，生成最终的增强现实康复游戏视频；

所述用户数据模块存储记录患者的基本信息和训练任务完成情况（该信息即为患者的训练数据）；治疗师模块接收用户实时训练视频及训练数据；

所述增强现实标识为方形，由外部黑色方框和内部标志符号两部分构成。

患者的训练数据包括：患者的基本信息，如性别、年龄、开始康复训练的日期等；患者的训练任务完成情况，如每次进行训练的时间长短，游戏任务成功次数等数据。

所述增强现实注册跟踪模块包括标识识别单元和参数计算单元；

201）所述标识识别单元对所述实景视频进行处理，查找视频图像中所有的增强现实标识并将其一一识别；

202）参数计算单元对所识别的增强现实标识的平移和旋转系数进行计算，得到的三维六自由度姿态信息。

所述步骤201）中，具体步骤是先对实景视频图像进行处理：将图像二值化，并搜索、定位增强现实标识的黑色方框，将增强现实标识与数据库中的标识进行模板匹配来识别该标识；

所述步骤202）中，所述参数为增强现实标识的六自由度位置姿态信息，分别是3个平移系数和3个旋转系数；

计算增强现实标识的三维姿态数据的具体的计算方法是：由增强现实标识四个角的图像平面坐标和物体三维坐标建立关系式计算转换矩阵；再由转换矩阵，进一步提取具体的姿态参数。

以下为数学关系：

计算增强现实标识的三维姿态数据，涉及三维物体在平面的投影：

m＝PM＝K[R|t]M    (1)

式中m、M分别为任意一点的在图像坐标系和三维物体坐标系下的齐次坐标；其中，在图像坐标系下，图像坐标为m＝[u,v,1]^T；在三维物体坐标系下，三维物体坐标为M＝[X,Y,Z,1]^T；R为旋转变换矩阵，是一个3×3的正交矩阵；t为平移向量，K表示摄像机的内部参数矩阵；P为投影矩阵，P＝K[R|t]；

由于使用的增强现实标识为平面结构，因此令Z＝0，则(1)式写为：