[发明专利]面向混合现实飞行仿真系统的虚实融合方法

说明书

本发明是一种面向混合现实飞行仿真系统的虚实融合方法，属于飞行仿真技术领域。本发明方法包括：离线阶段制作虚拟驾驶舱模型并选取定位点，形成固定位置结构，对应在实体驾驶舱上设置追踪器或选取视觉特征，与定位点建立对应关系；在线阶段实时获取实体驾驶舱上追踪器和视觉特征的三维坐标，进行追踪器定位和视觉特征定位，对两种定位结果经卡尔曼滤波融合，得到虚拟驾驶舱更精确的注册位置；通过与双目相机扫描驾驶舱周围环境的点云形成空间定位模板，实现跨会话重复加载，建立虚实驾驶舱的联系。本发明计算相对轻量，对实体驾驶舱周围环境依赖小，避免了大量额外图像传输、特征提取和渲染工作，不会出现画面割裂情况，能带来更好的沉浸体验。

技术领域

本发明属于飞行仿真领域，面向基于混合现实技术的飞行仿真系统提出一种虚实融合方法，具体涉及一种半实体驾驶舱模型的虚实注册技术。

背景技术

对于仿真、数字孪生等需要利用数字模型复现真实世界的领域，混合现实技术展现出巨大的优势，其中一个重要的应用方向是飞行仿真。传统的飞行仿真系统主要利用具备各种仪表、操纵杆等的实体驾驶舱作为操作的输入，由计算机处理并实时模拟飞行状态，然后由以传统显示屏幕为主的视景系统等给驾驶员提供信息反馈。但是传统显示屏幕不仅占地面积大，而且视角受限，无法根据驾驶员的身体活动做出相应的视景调整，缺乏沉浸感和更真实的操作体验。随着硬件技术的进步，借助混合现实技术创造沉浸式的飞行仿真体验已经成为可能，对驾驶训练等的效率提高有着极大的推进作用，逐渐成为研究的热点。

目前国内外已经提出了一些飞行仿真系统的混合现实解决方案，其中相对成熟的一种基于实体驾驶舱交互的方案利用头戴式双目相机采集真实实验环境的影像，通过前景提取、可区分特征识别匹配等方法获得实体驾驶舱在图像中的位姿，与虚拟场景融合渲染后显示，即驾驶员所看到的驾驶舱部分来自真实图像的三维重建结果，驾驶舱以外部分为虚拟飞行环境。该类方案因为直接将真实影像与虚拟场景叠加，对定位精度和渲染质量要求较高，比如驾驶舱定位误差会导致虚实视景融合边缘产生视觉上的割裂感，影响沉浸体验；又比如飞行过程中环境中的大量动态光照，真实影像部分为了保证虚实融合效果需要实时计算光照进行渲染，造成了较大的系统负担。

上述方案除了所列举出的视觉效果、精度、计算量的问题以外还存在许多其他影响系统实时性、稳定性的问题，存在很大的改进空间。

具体地，通过双目相机获取图像进行前景提取、可区分特征识别匹配的方法估计驾驶舱在图像中的位姿，然后叠加驾驶舱影像到虚拟环境中渲染的技术方案，存在如下问题：

(1)获取驾驶舱位姿的过程中，对实验环境的复杂程度有较高要求，实验场地环境复杂会导致图像前景提取效果不理想；而且存在大量实时图像传输、特征识别处理、虚实融合渲染，巨大的计算量直接影响了整个系统的实时性。

(2)仅从视觉信息中提取驾驶舱位姿信息进行虚实融合的方法信息来源单一，误差界定困难造成了定位精度不高的问题；另外当相机朝向不存在视觉特征的方向时会导致定位丢失。

(3)如果采取多种传感信息共同提高系统定位精度的策略，一般设计开发混合定位方案的系统难度较大，比如异构传感器数据描述、联合标定、异步数据融合等等常见问题的解决方案都存在算法设计复杂、实现困难的问题。

发明内容

针对现有混合现实技术在飞行仿真领域应用方案中的问题，本发明提出了一种使用驾驶舱数字模型进行虚实注册的方案，不直接使用相机获取的影像与虚拟场景叠加，而是从影像和追踪设备中计算驾驶舱的三维位姿信息，利用该信息变换驾驶舱模型注册到正确位置。

具体地，本发明提出了一种面向混合现实飞行仿真系统的虚实融合方法，包括：

(1)离线阶段，预先制作虚拟驾驶舱模型，在驾驶舱上选取定位点，用于追踪实体驾驶舱的位姿；