[发明专利]基于数字孪生AR交互方法和系统

权利要求书

1.一种基于数字孪生AR交互方法，其特征在于，包括以下步骤：

获取相机采集的真实空间的现场图像并识别目标物体，从现场图像获取目标物体的像素坐标P；

在构建的虚拟空间加载目标物体的三维模型，获取真实空间到虚拟空间的转换矩阵K，根据像素坐标P和转换矩阵K计算三维模型在虚拟空间坐标系下的位姿P_model，确定三维模型位置；

获取人机交互接口所选择的投影角度，计算三维模型不同侧面在所述投影角度下的投影；

对三维模型进行渲染，将渲染后的投影图像在虚拟屏幕上展示。

2.根据权利要求1所述的基于数字孪生AR交互方法，其特征在于：所述获取真实空间到虚拟空间的转换矩阵K包括以下步骤：

使用虚拟相机从多个角度对目标物体的三维模型进行拍摄，获取三维模型的图像，从三维模型的图像中提取特征，保存为特征模板并记录相应的转换矩阵M1＝[R|t]；

从现场图像中提取特征点，使用ICP算法将特征点与特征模板进行匹配，获得转换矩阵M2＝[R|t]；

计算真实空间到虚拟空间的转换矩阵K，K＝M1·M2。

3.根据权利要求2所述的基于数字孪生AR交互方法，其特征在于：从现场图像中提取的所述特征点采用RANSAC算法进行处理。

4.根据权利要求3所述的基于数字孪生AR交互方法，其特征在于：所述从三维模型的图像中提取特征和从现场图像中提取特征点的步骤均采用ORB算法。

5.一种基于数字孪生AR交互系统，其特征在于，包括：

模型训练模块，用于使用虚拟相机从多个角度对目标物体的三维模型进行拍摄，获取三维模型的图像，从三维模型的图像中提取特征，保存为特征模板；

图像采集模块，用于采集真实空间的现场图像；

目标识别模块，用于处理现场图像和识别目标物体，从现场图像获取目标物体的像素坐标P；

虚实注册模块，用于在构建的虚拟空间加载目标物体的三维模型，获取真实空间到虚拟空间的转换矩阵K，根据像素坐标P和转换矩阵K计算三维模型在虚拟空间坐标系下的位姿P_model，确定三维模型位置；

人机交互模块，用于获取选择投影角度的指令；

投影计算模块，用于计算三维模型不同侧面在所述投影角度下的投影；

显示模块，用于渲染并显示投影计算模块的计算结果；以及，

通信模块，用于图像采集模块、目标识别模块、虚实注册模块、人机交互模块、投影计算模块和显示模块之间的通信连接。