[发明专利]一种基于混合现实设备的装配引导方法及系统

权利要求书

1.一种基于混合现实设备的装配引导方法，其特征在于，包括：

构建虚拟装配场景；

通过混合现实设备与现实装配场景进行融合；

对所述现实装配场景中的装配阶段和装配体进行识别；

根据识别出的所述装配阶段和识别出的所述装配体获取装配引导信息；

通过所述混合现实设备显示所述装配引导信息，对装配过程进行引导。

2.根据权利要求1所述的装配引导方法，其特征在于，所述对所述现实装配场景中的装配阶段和装配体进行识别具体包括：

获取所述现实装配场景中各装配体的图像；

根据预先设置在全部所述装配体上的识别标记，对所述图像中的各装配体进行识别；

确定识别出的各所述装配体之间的层级关系；

根据识别出的各所述装配体和所述层级关系，确定当前装配阶段。

3.根据权利要求2所述的装配引导方法，其特征在于，还包括：

分别获取识别出的各所述装配体的RGB图像、深度图像、运动数据、温度数据、应力数据和应变数据；

根据预设的多源数据融合算法，分别在数据级、特征级和决策级对识别出的各所述装配体的RGB图像、深度图像、运动数据、温度数据、应力数据和应变数据进行融合决策处理，得到识别出的各所述装配体的实时状态信息。

4.根据权利要求3所述的装配引导方法，其特征在于，还包括：

根据所述实时状态信息对识别出的各所述装配体的装配过程和装配结果进行监控，当装配成功时，记录所述装配结果。

5.根据权利要求1至4中任一项所述的装配引导方法，其特征在于，所述构建虚拟装配场景具体包括：

构建虚拟场景；

获取装配流程和全部装配体的属性信息，并根据所述装配流程和属性信息生成多个装配阶段；

根据各所述装配体的属性信息确定各所述装配体之间的层级关系和时序关系；

根据各所述装配体之间的层级关系和时序关系生成各所述装配阶段的装配引导信息；

将所述装配体的属性信息、所述装配阶段、各所述装配阶段的装配引导信息和各所述装配体之间的层级关系和时序关系添加到所述虚拟场景中，得到虚拟装配场景。

6.一种基于混合现实设备的装配引导系统，其特征在于，包括：

建模装置，用于构建虚拟装配场景；

混合现实设备，用于将所述虚拟装配场景与现实装配场景进行融合；

识别装置，用于对所述现实装配场景中的装配阶段和装配体进行识别；

所述混合现实设备还用于根据识别出的所述装配阶段和识别出的所述装配体获取装配引导信息，并显示所述装配引导信息，对装配过程进行引导。

7.根据权利要求6所述的装配引导系统，其特征在于，所述识别装置包括：

摄像机组，用于获取所述现实装配场景中装配体的图像；

装配体识别单元，用于根据预先设置在全部所述装配体上的识别标记，对所述图像中的各装配体进行识别；

层级关系识别单元，用于确定识别出的各装配体之间的层级关系；

装配阶段识别单元，用于根据识别出的各所述装配体和所述层级关系，确定当前装配阶段。

8.根据权利要求7所述的装配引导系统，其特征在于，所述识别装置还包括：

传感器组，用于分别获取识别出的各所述装配体的RGB图像、深度图像、运动数据、温度数据、应力数据和应变数据；

数据处理单元，用于根据预设的多源数据融合算法，分别在数据级、特征级和决策级对识别出的各所述装配体的RGB图像、深度图像、运动数据、温度数据、应力数据和应变数据进行融合决策处理，得到识别出的各所述装配体的实时状态信息。

9.根据权利要求8所述的装配引导系统，其特征在于，还包括：

监控装置，用于根据所述实时状态信息对识别出的各所述装配体的装配过程和装配结果进行监控，当装配成功时，记录所述装配结果。

10.根据权利要求6至9中任一项所述的装配引导系统，其特征在于，所述建模装置包括：

建模单元，用于构建虚拟场景；

装配阶段生成单元，用于获取装配流程和全部装配体的属性信息，并根据所述装配流程和属性信息生成多个装配阶段；

装配关系识别单元，用于根据各所述装配体的属性信息确定各所述装配体之间的层级关系和时序关系；

引导信息生成单元，用于根据各所述装配体之间的层级关系和时序关系生成各所述装配阶段的装配引导信息；

装配场景建模单元，用于将所述装配体的属性信息、所述装配阶段、各所述装配阶段的装配引导信息和各所述装配体之间的层级关系和时序关系添加到所述虚拟场景中，得到虚拟装配场景。