[发明专利]基于2D-3D注意机制神经网络模型的三维重建方法

说明书

本发明属于计算机视觉及三维重建技术领域，具体涉及了一种基于2D‑3D注意机制神经网络模型的三维重建方法，旨在解决现有技术无法兼顾三维重建精度及模型泛化能力的问题。本发明方法包括：基于自编码器2D‑3D注意机制神经网络构建三维重建模型并初始化；采用训练数据集训练并获取三维重建模型的训练损失值；采用误差反向传播的方法更新模型参数；重复进行损失计算以及模型参数更新直至训练损失值低于设定阈值或达到设定训练次数；采用训练好的三维重建模型基于输入数据进行三维重建。本发明将注意力机制引入自编码网络中，实现了对目标物体高质量的三维重建，并采用不在训练集中的数据进行测试，模型有更强的泛化能力。

技术领域

本发明属于计算机视觉及三维重建技术领域，具体涉及了一种基于2D-3D注意机制神经网络模型的三维重建方法。

背景技术

近年来机器人领域飞速发展，在机器人计算机视觉领域中物体的三维重建一直是最基本的问题，得到了广泛的关注。在机器人抓取、机器人导航、增强现实、机器人语义理解等场景中二维图像已经不能满足足够的要求，人们越来越希望从三维角度解决问题，因此物体的三维重建承担着重要的任务，解决该问题成为计算机视觉领域的重中之重。随着人工智能深度学习的迅速发展和广泛传播，多种计算机视觉问题得到了极大的改善，基于深度学习的三维重建问题也成为了研究者们关注的焦点，如何用深度学习准确的将物体的形状，外貌完整的呈现出来成为当前三维重建技术的重要研究方向。

三维重建主要研究任务在于获取图像的形状和外貌，目前可以分为以下两类。一是基于SFM的方法，也就是从运动恢复结构，这种方式首先对图像进行特征点检测与匹配，接下来根据特征点来构造外极几何图，接下来进行摄像机位姿和场景结构设计，可以使用增量式、全局式、混合式三种方法。为了消除重建误差，在初始结果的基础上捆绑调整，进一步优化摄像机位姿和场景，最后对重建的点云进行处理。这种方法对图像有很高的要求，比如需要图像有足够的纹理，亮度，图像之间基线足够的小，否则会导致特征点匹配失败。除此之外，此方法需要图像个数在几十甚至更多。在重建过程中还存在退化和不鲁棒的情况，需要其他方法进行弥补。二是深度学习方法，目前，深度学习的三维重建方法主要分为两类：一类采用生成式对抗网络(GAN),另一类采用自编码器网络。生成式对抗网络完成的三维重建一般由生成器将提取的低维度特征映射成物体的三维模型，判别器网络一般与生成器网络对称，用来区分预测的三维模型是真的还是假的，通过不断训练，得到高质量的三维模型。自编码器网络中，编码器主要完成提取图像的低维度特征，解码器将低维度特征映射成物体的三维形状。其中，基于生成式对抗网络的方法速度较快，计算复杂度较小，并且解码器的作用可以看成整个网络是无监督学习。但是也存在训练过程中达到稳定较难、三维重建精度较低的缺点。基于自编码器网络的方法相比于生成对抗方法，其获得的三维模型精度较高，但往往计算复杂度较大，泛化能力弱。

总的来说，现有的方法无法兼顾三维重建精度及泛化能力，重建的三维模型精度达不到预期，网络的泛化能力也无法达到应用的需求。

发明内容

为了解决现有技术中的上述问题，即现有技术无法兼顾三维重建精度及模型泛化能力的问题，本发明提供了一种基于2D-3D注意机制神经网络模型的三维重建方法，该三维重建方法包括：

步骤S10，获取物体不同视角的二维图像集作为输入图像集；

步骤S20，基于所述输入图像集，通过训练好的三维重建模型，获取物体三维模型；

其中，所述三维重建模型基于自编码器2D-3D注意机制神经网络构建，其训练方法为：

步骤B10，初始化所述三维重建模型的参数；

步骤B20，将输入的训练图像在初始化后的三维重建模型中进行前馈传导并计算输入的训练图像投影的训练损失值；

步骤B30，采用误差反向传播的方法，获取所述三维重建模型中各层参数的变化值并进行相应层的参数更新；