[发明专利]一种基于增强现实的复杂设备操作运行在位仿真系统

说明书

本发明公开了一种基于增强现实的复杂设备操作运行在位仿真系统，包括：仿真场景模块，其生成场景三维点云模型，建立复杂设备仿真模型，操作人员远程操作复杂设备仿真模型；增强现实模块，其将复杂设备仿真模型叠加在实时场景图像中，展示复杂设备仿真模型在当前场景图像中位置及3D操作手册；设备管理模块，其获取复杂设备实时运行状态，存储3D操作手册并发送至增强现实模块，接收远程操作控制的实时视频信息并与操作人员远程3D可视交流；通信模块，其实现设备管理模块与仿真场景模块和增强现实模块之间通信；交互接口模块，其用于仿真场景模块和增强现实模块之间的交互。本发明的有益效果：实现大型复杂设备在位仿真的操作运行培训和指导。

技术领域

本发明涉及制造业装备仿真技术领域，具体而言，涉及一种基于增强现实的复杂设备操作运行在位仿真系统。

背景技术

大型复杂设备尺寸大、重量显著、构型复杂、存在大量精密零件以及装配组件。大型复杂设备装配维修过程中的工艺装备(标准和非标的吊装、试验及检测设备等，通用及专用工装、夹具或型架)种类多，数量庞大，而且装配工艺高度复杂，操作人员无法精确记住每个操作细节，尤其是科研阶段工艺规程持续变化和改进使得大型复杂设备的产品组装和产品维修是一项技术难度大、涉及学科领域多的综合性集成技术，它在很大程度上决定了设备的最终质量、制造成本和周期。因而，迫切需要在大型复杂设备的装配和维修训练系统，实时指导，全过程监控，全面提供可追溯性保障手段。

大型复杂设备的操作流程和工序复杂，基于虚拟现实的操作训练是在计算机提供的虚拟适人仿真环境中训练操作人员熟练掌握大型设备的操作使用方法。但是虚拟仿真环境不能完全真实的再现真实现场环境，同时虚拟设备的运动仿真规划结果和实际设备执行结果之间存在着一定差异。

在实际生产之前，在对大型复杂设备控制系统进行实物调试控制时存在着一定的危险性。基于虚拟现实(VR)环境通过虚机实电测试控制信号存在虚拟场景与真实环境不完全一致的问题。对于各种操作运动是否会与真实环境中墙壁、各种工装等发生碰撞难以进行检测。

发明内容

为解决上述问题，本发明的目的在于提供一种基于增强现实的复杂设备操作运行在位仿真系统，基于虚拟现实环境实现虚拟装备实电仿真测试，实现了大型复杂设备在位仿真的操作运行培训和指导，避免了复杂设备进行实物调试控制时存在的危险性，也能检测复杂设备的各种操作运动与真实环境中墙壁、各种工装发生的碰撞。

本发明提供了一种基于增强现实的复杂设备操作运行在位仿真系统，包括：

仿真场景模块，其对在一定时间间隔内实时循环采集到的当前复杂设备所在的真实场景图像进行分析处理重建，生成场景三维点云模型，从中识别出该复杂设备，并对该复杂设备进行实时跟踪，确定当前复杂设备在真实环境中的位置与姿态，将位置与姿态信息传入虚拟环境，在虚拟环境中对复杂设备建模，建立复杂设备仿真模型，操作人员根据该复杂设备的3D操作手册，结合场景三维点云模型远程操作控制该复杂设备仿真模型，并将远程操作的实时视频信息发送给设备管理模块；

增强现实模块，其通过可穿戴AR设备将复杂设备仿真模型叠加在实时采集到的场景图像中，实现虚实的视觉融合，展示复杂设备仿真模型在当前场景图像中的位置，完成对复杂设备和操作运行环境的虚拟再现，并对设备管理模块发送的复杂设备的3D操作手册进行展示，供操作人员对复杂设备仿真模型进行远程操作控制；

设备管理模块，其用于获取各个复杂设备的实时运行状态，存储各个复杂设备的3D操作手册，并发送3D操作手册至所述增强现实模块，接收操作人员远程操作控制复杂设备仿真模型的实时视频信息，并实现与操作人员的远程3D可视交流；

通信模块，其用于实现所述设备管理模块与所述仿真场景模块和所述增强现实模块之间的通信；

交互接口模块，其用于所述仿真场景模块和所述增强现实模块之间的交互。