[发明专利]AR眼镜三维重建方法、系统、设备及存储介质

权利要求书

1.一种AR眼镜三维重建方法，其特征在于，包括：

获取AR眼镜上至少一个图像传感器所采集到的关键帧信息；

利用预先配置的三维重建策略，基于所述AR眼镜的设备参数在所述AR眼镜端根据所述关键帧信息执行三维重建操作，或者，将所述关键帧信息发送至云端执行三维重建操作。

2.根据权利要求1所述的AR眼镜三维重建方法，其特征在于，获取AR眼镜上至少一个图像传感器所采集到的关键帧信息，包括：

预先对所述AR眼镜上至少一个图像传感器和/或深度传感器进行标定，得到标定信息；

当所述AR眼镜包括至少一个图像传感器，或，至少一个图像传感器和深度传感器的组合时，根据所述标定信息，获取所述AR眼镜上至少一个图像传感器的外参；

运行所述AR眼镜的跟踪算法，并利用所述图像传感器的外参计算所述AR眼镜扫描周围环境获取到的真实场景信息；

根据预先配置的筛选策略，从所述真实环境信息中筛选并记录关键帧信息；

其中，所述关键帧信息包括图像信息、位姿信息、时间戳信息和深度图信息中的至少一种。

3.根据权利要求2所述的AR眼镜三维重建方法，其特征在于，利用预先配置的三维重建策略，基于所述AR眼镜的设备参数在所述AR眼镜端根据所述关键帧信息执行三维重建操作，或者，将所述关键帧信息发送至云端执行三维重建操作，包括以下至少之一：

在所述AR眼镜的计算处理能力大于或等于第一预设阈值的情况下，在所述AR眼镜端根据所述关键帧信息执行三维重建操作；或者，在所述AR眼镜的计算处理能力小于第一预设阈值的情况下，将所述关键帧信息发送至云端执行三维重建操作；

在所述AR眼镜对地图的实时性需求大于或等于第二预设阈值的情况下，在所述AR眼镜端根据所述关键帧信息执行三维重建操作；或者，在所述AR眼镜对地图的实时性需求小于第二预设阈值的情况下，将所述关键帧信息发送至云端执行三维重建操作；

在所述AR眼镜上所述图像传感器采集的所述关键帧信息的数据量小于第三预设阈值的情况下，由所述AR眼镜依据所述关键帧信息执行三维重建操作；或者，在所述AR眼镜上所述图像传感器采集的所述关键帧信息的数据量大于或等于第三预设阈值的情况下，将所述关键帧信息发送至云端，由所述云端依据所述关键帧信息执行三维重建操作。

4.根据权利要求3所述的AR眼镜三维重建方法，其特征在于，所述方法还包括：

对所述至少一个图像传感器对应的相机进行特征提取，得到所述至少一个图像传感器对应的相机的特征；

将所述特征进行特征匹配，得到特征匹配结果；

根据所述特征匹配结果，将用于通过所述跟踪算法采集所述位姿信息的相机作为主相机，将与所述主相机之间标定过外参且时间同步的相机作为紧耦合相机，将与所述主相机之间标定过外参且时间不同步的相机作为松耦合相机；

将所述主相机和所述紧耦合相机基于所述位姿信息进行三维重建，得到三维重建结果；

将所述松耦合相机的数据在所述三维重建结果中进行注册得到注册结果；

通过所述松耦合相机的时间戳信息对所述注册结果进行校验，得到稀疏三维重建结果。

5.根据权利要求4所述的AR眼镜三维重建方法，其特征在于，所述方法还包括：

在所述至少一个所述图像传感器对应的相机同时包括灰度相机和彩色相机的情况下，基于所述灰度相机的第一稀疏三维重建结果独立进行稠密三维重建中的立体匹配，得到与所述第一稀疏三维重建结果所对应的第一深度图；以及，基于所述彩色相机的第二稀疏三维重建结果独立进行稠密三维重建中的立体匹配，得到与所述第二稀疏三维重建结果所对应的第二深度图。

6.根据权利要求5所述的AR眼镜三维重建方法，其特征在于，所述方法还包括：

分别利用所述灰度相机的第一位姿信息和所述彩色相机的第二姿态信息，以及利用所述灰度相机的第一深度图和所述彩色相机的第二深度图进行交叉认证；

当交叉认证通过后，对所述灰度相机的第一深度图进行优化得到第三深度图，以及对所述彩色相机的第二深度图进行优化得到第四深度图。