[发明专利]一种基于现实增强技术的复杂场景康复训练方法

说明书

本发明涉及一种基于现实增强技术的复杂场景康复训练方法，包括以下步骤：包括以下步骤：a、构建用于弱视患者辅助训练的模型部件的三维数据库；b、利用双目相机采集真实场景的双目图像，提取真实场景的三维特征并进行复杂场景重建；c、将模型部件的三维数据与重建场景图像进行实时自适应三维注册；d、快速估计真实场景的光照条件并进行重建场景的光照分布；e、将辅助训练信息与重建场景图像进行实时绘制与动态融合，引导患者与增强的真实场景进行实时交互。本发明面向盲人、低视力、老年视力障碍等不同视力损伤群体，帮助其感知周围环境，可对其进行视力辅助，视力康复训练等，这极大地便利了弱视力群体的生活和康复能力。

技术领域

本发明涉及现实增强技术领域，具体地说是一种基于现实增强技术的复杂场景康复训练方法。

背景技术

增强现实（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途越来越广。

三维重建（3D Reconstruction）是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作及分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识，而多视图的三维重建相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息。

目前，有一些关于应用现实增强技术进行肢体康复训练的报道，但是都存在一些问题，例如，专利文件CN102908772公开的训练系统需依赖辅助标识，且只能进行上肢康复训练；专利文件CN109621311公开的训练方法中不涉及场景重建，且只能进行步态康复训练；专利文件CN109011097公开的训练方法中不涉及场景重建与场景交互，只能进行运动想象。

当前盲人、低视力、老年视力障碍等不同视力损伤的群体生活极为不便，传统的辅助措施并不能有效帮助视力损伤患者准确感知周围环境并进行视力康复训练。然而很少有研究将三维重建与增强现实技术应用于对视力损伤患者的环境感知与视力康复训练，因而研究一种三维重建与增强现实技术有机结合的视力康复训练方法具有重要意义。

发明内容

本发明的目的就是提供一种基于现实增强技术的复杂场景康复训练方法，以解决现有视力障碍人群康复训练难，训练效果不理想的问题。

本发明是这样实现的：一种基于现实增强技术的复杂场景康复训练方法，包括以下步骤：

a、构建用于弱视患者辅助训练的模型部件的三维数据库；

b、利用双目相机采集真实场景的双目图像，提取真实场景的三维特征并进行复杂场景重建；

c、将模型部件的三维数据与重建场景图像进行实时自适应三维注册；

d、快速估计真实场景的光照条件并进行重建场景的光照分布；

e、将辅助训练信息与重建场景图像进行实时绘制与动态融合，引导患者与增强的真实场景进行实时交互。

步骤a中，结合现实模型部件的特征，利用模型虚拟设计软件，构建模型部件的三维数据库，每个模型部件的三维数据单独导出，并保存为OBJ格式的模型数据，同时添加相对应的知识语义信息。

步骤a中，针对每个三维模型部件，分别对其指定纹理贴图和光照反射模型，然后根据知识语义信息中的指示动作对三维数据库进行分类。