[发明专利]一种基于混合现实的航空装备修理辅助系统及其使用方法

说明书

本发明涉及一种基于混合现实的航空装备修理辅助系统及其使用方法，使用头戴式混合现实设备，搭建修理辅助系统，包括用于登录认证的登录管理身份认证模块，用于演示的全息三维模型展示模块，用于讲解操作的图像、音频、视频展示模块，用于叠加现实与虚拟场景的全息三维动画叠加展示模块，用于手势交互与语音交互的的手势识别交互处理模块和语音识别交互处理模块，用于扫描与匹配数据库特征信息的二维码及图像识别模块以及用于上传和保存维修记录的操作记录模块。本发明操作简便，对维修人员易上手，能够更新维修数据，直观展示维修操作，详细记录维修过程便于企业追溯管理，大大提高了航空装备维修效率。

技术领域

本发明涉及航空装备修理辅助技术领域，具体的说是一种基于混合现实的航空装备修理辅助系统及其使用方法。

背景技术

航空装备修理工作复杂，步骤多，难度高，修理人员需随时查阅修理工艺规程手册，传统纸质手册查询检索过程繁琐、容易沾染油污、工艺更新换版打印滞后、工艺步骤不直观，目前行业内正逐步推进无纸化工艺系统，利用台式电脑、笔记本、平板等终端设备展示电子版修理工艺规程，但此类终端设备在航空装备修理中携带不便、信息展现形式单一、沉浸感不强、手动敲击或触摸交互困难、频繁切换视线带来安全隐患。

混合现实是一种综合虚拟现实和增强现实的新型展现方式，它合并现实和虚拟世界，产生新的可视化环境。相对于传统的虚拟现实和增强现实，混合现实设备首先要对真实空间进行扫描识别，然后再将虚拟景象融合到真实空间中，混合现实设备提供了用户与实际现实场景的多种交互方式。基于混合现实技术研发的航空装备修理辅助系统，可将文字、图片、音频、视频、动画、三维模型等多种形式的虚拟信息，叠加到装备修理现场真实场景中，并可通过视线、手势、语音等多种交互方式与系统进行交互操作，为系统使用人员提供装备内部结构展示、工作原理演示、修理工艺查询、修理教学视频播放、修理工具工装提示、修理关键重要步骤提醒、实时拍摄记录等辅助功能，有效提高航空装备修理的工作效率和工作质量。

通过查阅国内外相关文献资料，目前尚没有基于混合现实的航空装备修理辅助系统在行业中应用案例。

发明内容

本发明所要解决的技术问题在于提供了一种基于混合现实的航空装备修理辅助系统及其使用方法，以解决传统纸质工艺和无纸化工艺模式的携带不便、查询检索过程繁琐、工艺步骤不直观、信息展现形式单一、沉浸感不强、交互困难等问题，有效提高航空装备修理的工作效率和工作质量。

本发明所要解决的技术问题采用以下技术方案来实现：

一种基于混合现实的航空装备修理辅助系统，包括用于登录认证的登录管理身份认证模块，用于演示的全息三维模型展示模块，用于讲解操作的图像、音频、视频展示模块，用于叠加现实与虚拟场景的全息三维动画叠加展示模块，用于手势交互与语音交互的的手势识别交互处理模块和语音识别交互处理模块，用于扫描与匹配数据库特征信息的二维码及图像识别模块以及用于上传和保存维修记录的操作记录模块。

所述登录管理身份认证模块用于验证操作人员登录身份和权限，获取对应名下工作任务和关联修理对象工艺数据包。

所述全息三维模型展现模块，用于展现修理对象的全息三维模型，操作人员可通过手势与模型进行交互，包括放大、缩小、旋转、移动、半透明、分解、合并等。

所述图像音频视频展示模块，用于向操作人员展示包括修理对象的产品图片、原始工艺图纸、工具工装图片、操作语音提示、操作教学视频等内容，便于操作人员随时查阅修理工艺中每一步具体内容。

所述全息三维动画叠加展示模块，用于将操作步骤指导性操作及使用的工具，利用全息三维动画方式叠加在修理对象实物上进行播放演示，操作人员只需参照演示内容，用演示的工具在演示的部位进行操作。

所述手势识别交互处理模块，用于操作人员与系统之间通过指定手势进行交互操作，包括在空中虚拟点击进行虚拟模型的拾取、放置以及按钮的触发操作，拇指与食指捏合移动用于对虚拟模型进行移动和缩放操作；