[发明专利]基于数字孪生AR交互方法和系统

说明书

本发明公开了基于数字孪生AR交互方法和系统，涉及生产装配的技术领域，旨在解决现有装配技术只能从单一视角进行装配工作，无法准确把握装配路径与装配效果，影响装配效率的问题。其技术方案要点是获取相机采集的真实空间的现场图像并识别目标物体，获得其像素坐标P；在虚拟空间加载目标物体的三维模型，获取真实空间到虚拟空间的转换矩阵K，根据P和K计算三维模型在虚拟空间坐标系下的位姿P_model；获取人机交互接口所选择的投影角度，计算三维模型不同侧面在所述投影角度下的投影；对三维模型进行渲染，将渲染后的投影图像在虚拟屏幕上展示。本发明从不同角度观察确认装配路径与装配效果，达到了提高工作效率的效果。

技术领域

本发明涉及生产装配的技术领域，尤其是涉及一种基于数字孪生AR交互方法和系统。

背景技术

数字孪生(Digital Twin)，是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，主要是通过对物理世界中的事件(物体)进行数字化模拟，来构建一个数字世界中一模一样的实体，藉此来实现对物理实体的了解、分析和优化的过程。在产品的设计阶段，利用数字孪生可以提高设计的准确性，并验证产品在真实环境中的性能。

但是，生产装配过程中需要对零部件进行定位，有时零部件约束较多，装配时可能发生碰撞、干涉等情况，有时物体本身存在自遮挡，若通过视频监控观察工作进度，只能从单一视角进行装配工作，无法准确把握零部件的移动。因此，将数字孪生技术引入生产领域，从不同角度观察确认装配路径与装配效果，可以有效提高生产效率。

发明内容

本发明的目的是提供一种基于数字孪生AR交互方法和系统，达到从不同角度观察确认装配路径与装配效果的目的，提高生产效率。

本发明的上述发明目的一是通过以下技术方案得以实现的：

一种基于数字孪生AR交互方法，包括以下步骤：

获取相机采集的真实空间的现场图像并识别目标物体，从现场图像获取目标物体的像素坐标P；

在构建的虚拟空间加载目标物体的三维模型，获取真实空间到虚拟空间的转换矩阵K，根据像素坐标P和转换矩阵K计算三维模型在虚拟空间坐标系下的位姿P_model，确定三维模型位置；

获取人机交互接口所选择的投影角度，计算三维模型不同侧面在所述投影角度下的投影；

对三维模型进行渲染，将渲染后的投影图像在虚拟屏幕上展示。

本发明进一步设置为：所述获取真实空间到虚拟空间的转换矩阵K包括以下步骤：

使用虚拟相机从多个角度对目标物体的三维模型进行拍摄，获取三维模型的图像，从三维模型的图像中提取特征，保存为特征模板并记录相应的转换矩阵M1＝[R|t]；

从现场图像中提取特征点，使用ICP算法将特征点与特征模板进行匹配，获得转换矩阵M2＝[R|t]；

计算真实空间到虚拟空间的转换矩阵K，K＝M1·M2。

本发明进一步设置为：从现场图像中提取的所述特征点采用RANSAC算法进行处理。

本发明进一步设置为：所述从三维模型的图像中提取特征和从现场图像中提取特征点的步骤均采用ORB算法。

本发明的上述发明目的二是通过以下技术方案得以实现的：

一种基于数字孪生AR交互系统，包括：

模型训练模块，用于使用虚拟相机从多个角度对目标物体的三维模型进行拍摄，获取三维模型的图像，从三维模型的图像中提取特征，保存为特征模板；

图像采集模块，用于采集真实空间的现场图像；