[发明专利]虚拟现实上肢康复作业治疗系统

权利要求书

1.虚拟现实上肢康复作业治疗系统，其特征在于：所述系统包括

手部输入模块：Oculus Quest通过全局鱼眼摄像头追踪用户手部动作，手部追踪系统捕捉的手势关键点实时同步至虚拟环境中内手部模型，使得用户可以徒手与虚拟环境自由交互；

物理引擎模块：利用Unity引擎内置的物理系统如刚体、碰撞器等组件，同时调整虚拟场景内物体间的弹性、摩擦力等参数，使得所搭建的环境具备真实物理特性，以此为用户营造出沉浸式的真实物理环境，同时也使得交互过程符合物理规律，进一步提升用户体验；

交互模块：用户手部数据实时同步至手模型后，可以与物理引擎所搭建的场景物体进行如抓取、翻转、碰撞等交互动作；场景物体通过碰撞检测、触发器、方向判断等，改变自身状态，或触发评分模块打分，以此来提供交互反馈；

评分模块：不同游戏场景中具有不同的评分机制，主要利用系统中的交互模块来判断场景中物体状态是否达到评分要求来进行打分；

作业模块：包含四种作业任务，这些任务通过复现相应的医院作业训练流程，来实现不同上肢功能训练的游戏化；每种任务集成了上述模块，不同任务根据任务目的，创建对应的游戏场景和场景物体，场景及物体均由物理引擎调配参数和属性，同时根据评分规则，实现相应的交互模块。

2.根据权利要求1所述的虚拟现实上肢康复作业治疗系统，其特征在于：所述手部输入模块利用Oculus Quest的内置手部追踪系统来实现用户的徒手交互；Oculus Quest有4个鱼眼单色摄像头，每个摄像头的视场范围为宽150度、高120度、对角线175度；这些摄像头可以检测实时图像中的左手和右手，并生成一组边界框，然后，系统从图像中裁剪出每个包围盒，并将其传递给能够检测21个关键点的网络；相关的手部模型分为手部模型骨架和手部网格模型两部分；手部骨骼由26个自由度组成，其中6个自由度代表全局变换，4个旋转自由度代表手指关节；生成的手部模型最后会通过OculusIntegration插件同步至Unity环境中。

3.根据权利要求1所述的虚拟现实上肢康复作业治疗系统，其特征在于：所述物理引擎模块使用Unity引擎的物理系统，利用刚体RigidBody组件和碰撞器组件，来实现系统内物体间的碰撞、摩擦等物理活动。

4.根据权利要求1所述的虚拟现实上肢康复作业治疗系统，其特征在于：所述交互模块，通过在场景中添加触发器、碰撞体，使得前述手部输入模块生成的用户手部模型与物理引擎模块所挂载物理属性的场景及物体产生物理交互，如用户对物体的抓握、翻转、抛掷等活动；这些交互动作符合运动物理学，可提升用户体验和沉浸感。

5.根据权利要求1所述的虚拟现实上肢康复作业治疗系统，其特征在于：所述评分模块，利用前述交互模块，进一步通过场景设计，或利用3D数学方法，判断物体的移动方向、移动范围是否符合任务目标，来对用户表现进行评分，同时更新场景记分牌物体挂载的text组件，改变分数值显示。

6.根据权利要求1所述的虚拟现实上肢康复作业治疗系统，其特征在于：所述作业模块以康复医院实际作业训练流程为参考，四种作业任务主要包括颜色分类、手指足球、杆上套环和纸牌游戏四个子系统。

7.根据权利要求6所述的虚拟现实上肢康复作业治疗系统，其特征在于：所述颜色分类系统训练肘部屈伸、手掌抓握与全指伸展，上肢水平内收外展以及抓握功能；所述手指足球训练单指伸展、腕背伸及背屈、手指精细活动灵活性、准确性以及分离运动；所述杆上套环训练拇指侧捏、上肢前屈、躯干扭转及重心稳定、手眼协调与辩距障碍；所述纸牌游戏训练全指屈曲，拇指对指运动、手部精细运动及协调性、前臂旋前旋后活动及功能。