[发明专利]一种三维重建方法、装置及相关设备

说明书

本申请公开了一种三维重建方法，包括利用目标图像帧进行局部位姿优化，获得局部位姿误差；对所述目标图像帧进行神经网络预测，获得初始重建误差；根据所述局部位姿误差和所述初始重建误差进行三维重建，获得初始重建模型；利用历史图像帧进行全局位姿优化，获得全局优化结果和全局位姿误差；对所述全局优化结果进行神经网络补全，获得最终重建误差；根据所述全局位姿误差和所述最终重建误差对所述初始重建模型进行优化，获得最终重建模型；该三维重建方法可以更为快速便捷的实现高质量、高精度的三维重建。本申请还公开了一种三维重建装置、系统以及计算机可读存储介质，均具有上述有益效果。

技术领域

本申请涉及虚拟现实技术领域，特别涉及一种三维重建方法，还涉及一种三维重建装置、系统以及计算机可读存储介质。

背景技术

虚拟现实技术是用计算机模拟现实世界的多学科交叉性技术，虚拟现实中所展示的场景按照生成方式主要可以分为两类：完全由计算机生成的虚拟对象和基于真实物理对象生成的虚拟对象。在追求虚拟环境与真实物理环境一致性的目标下，基于真实物理对象生成的虚拟对象凭借其与真实世界的高度一致性具有明显的优势，三维重建就是利用各种传感器设备对真实物理场景进行扫描和计算处理，生成对应的数字化虚拟模型的技术，可以为虚拟现实提供与现实物理世界高度一致的显示内容。

目前，基于复杂的传感器设备和计算设备已经能够实现比较高精度的三维重建，如以容积摄影为代表的高精度三维重建技术，这类技术需要众多相机组成的庞大传感器阵列，一般相机数量可达上百台，同时需要巨大的计算力提供重建过程的计算支持，这类技术虽然已经在专业领域实现了比较好的应用，但受到场地、成本、使用便利性等因素的限制，无法大规模推广到虚拟现实应用领域。而基于消费级传感器的三维重建由于受传感器本身测量的误差、图像数据质量、传感器运动状态、场景特征的丰富程度等因素的影响，普遍存在错误重建甚至失败重建的问题。

因此，如何更为快速便捷的实现高质量、高精度的三维重建是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种三维重建方法，该三维重建方法可以更为快速便捷的实现高质量、高精度的三维重建；本申请的另一目的是提供一种三维重建装置、系统以及计算机可读存储介质，也具有上述有益效果。

第一方面，本申请提供了一种三维重建方法，包括：

利用目标图像帧进行局部位姿优化，获得局部位姿误差；

对所述目标图像帧进行神经网络预测，获得初始重建误差；

根据所述局部位姿误差和所述初始重建误差进行三维重建，获得初始重建模型；

利用历史图像帧进行全局位姿优化，获得全局优化结果和全局位姿误差；

对所述全局优化结果进行神经网络补全，获得最终重建误差；

根据所述全局位姿误差和所述最终重建误差对所述初始重建模型进行优化，获得最终重建模型。

优选的，所述对所述目标图像帧进行神经网络预测，获得初始重建误差，包括：

利用通用样本数据对神经网络进行训练，获得初始神经网络模型；

利用所述历史图像帧和所述历史图像帧对应的最终重建模型对所述初始神经网络模型进行修正，获得神经网络预测模型；

利用所述神经网络预测模型对所述目标图像帧进行神经网络预测，获得所述初始重建误差。

优选的，所述根据所述局部位姿误差和所述初始重建误差进行三维重建，获得初始重建模型，包括：

利用所述局部位姿误差和所述初始重建误差构造初始优化目标函数；

对所述初始优化目标函数进行求解，获得所述初始优化目标函数取最小值时的初始位姿数据；