[发明专利]一种基于深度感知手势识别的虚拟维修性仿真方法

说明书

本发明涉及一种基于深度感知手势识别的虚拟维修性仿真方法。本发明包括：1)硬件环境搭建；2)数据准备；3)功能层实现；4)交互层实现。本方法采用无穿戴式深度感知手势识别交互设备，让使用人员能进行自然、直观、高精度的符合人体自然使用习惯的手势交互，能面向更多人员无差别使用。在飞机设计阶段采用本发明对飞机各舱位进行维修性仿真，可以在虚拟现实环境中以人在回路的方式直接对设计数模进行仿真操作，极大简化了维修性仿真过程，提高了效率；同时，通过定义操作步骤和操作手势，解决了人在回路实时维修性仿真存在的交互随意性大、交互精度低的问题，提高了人在回路实时维修性仿真的实用性和准确率。

技术领域

本发明属于飞机维修维护技术领域，涉及一种基于深度感知手势识别的虚拟维修性仿真方法。

背景技术

在飞机设计领域，飞机数字化设计技术与VR虚拟现实技术应用日趋成熟，并向设计阶段的虚拟维修性仿真领域进行更深层次和更广泛的应用和发展。虚拟维修性仿真是设计人员对设计过程中的数字样机模型进行维修过程、维修动作的仿真验证、分析过程，验证维修对象的可视性、可达性、维修通道等，通过不断迭代，优化飞机产品的整体设计和维修方案。设计人员可以在基于虚拟现实环境的人在回路仿真环境中以第一人称视角直接与飞机数字样机进行人在回路的交互操作，模拟维修操作过程，分析可达性、可视性等维修性指标，提高维修性设计与仿真的效率和准确度。

当前虚拟维修性仿真的环境主要有多通道沉浸式、桌面式与头盔式三种类型。不同类型的硬件系统，其硬件环境、交互设备、人机交互方式均有不同。目前，多通道沉浸式虚拟现实环境典型的交互设备为ART光学跟踪系统的交互手柄Flystick，虽然沉浸真实感较好，但是软硬件价格昂贵，Flystick手柄交互功能较单一；桌面式的交互设备通常为键盘/鼠标，很难实现直观的三维交互；头盔式的交互设备通常为与头盔配套使用的手柄，也可以在自然人身上绑定穿戴式动作捕捉套件，但是外部设备的介入虽然使得人体手势动作识别的准确度和稳定性得以提高，却掩盖了手势自然的表达方式，同时穿戴设备也有因穿戴的位置随机性大，不适配所有体型导致自然人手与虚拟人手匹配精度较差，动作走样变形的缺点。同时，人的生物特性决定了手在交互空间的轨迹无法实现规范化，而进行虚拟维修性仿真或训练时手的姿势动作都是实时产生的，与维修模型可能会在任何位置、角度上发生碰撞交互，很多现有人机交互技术难以有效地理解手势输入意图，判定手势是否符合维修操作要求完成交互。

发明内容

本发明的目的是：为了满足飞机虚拟维修性仿真时人机交互能摆脱穿戴式动作捕捉设备的束缚，能进行自然、直观、高精度的符合人体自然使用习惯的手势交互，能面向更多人员无差别使用的要求，结合现有头盔式虚拟现实环境提出了一种基于深度感知手势识别的虚拟维修性仿真方法。

本发明的技术解决方案是：一种基于深度感知手势识别的虚拟维修性仿真方法，包括以下步骤：

1)硬件环境搭建

硬件环境层采用基于深度感知的无穿戴式手势识别交互设备，配合VR头盔，构建人在回路的虚拟仿真环境。

2)数据准备

包括了完成虚拟场景布置所需的样机模型、工具模型、场景模型以及维修任务流程。

所述样机模型包含维修任务流程操作项指定的操作模型。

3)功能层实现

a)手势定义：手势定义是人在回路虚拟维修性仿真系统中，操作人员抓取/拾取操作模型是否达到操作要求，提供系统有效理解手势输入意图的判定依据。只有当操作人员以规定的手势角度姿势操作时才能操作成功，否则失败。

b)手势判断：在拆装操作模型时，对虚拟手势进行判断，当手势满足手势预定义要求时，允许进行相对位置关系绑定；否则，不能进行绑定。