[发明专利]一种表面法线重建融合系统及重建融合方法

说明书

本发明公开了一种表面法线重建融合系统，包括基于深度学习的未标定光度的立体视觉模块A、基于最大散度的未标定光度的立体视觉模块B及基于深度学习的融合模块；立体视觉模块A包括光照估计子模块和法线估计子模块；光照估计子模块用于提取照片的光照特征；法线估计子模块用于输入照片及照片的光照特征，提取物体的表面法向量；立体视觉模块B包括：反映法向量、光照特征值与像素值之间联系的关系模型，以及约束条件为最大散度等于0的散度模型；立体视觉模块A和立体视觉模块B的输出均输入至融合模块，融合模块输出最终的物体表面法向量。本发明还公开了一种表面法线重建融合方法。本发明提高深度学习的泛化能力及最终的预估法向量精度。

技术领域

本发明涉及一种表面法线重建方法，特别涉及一种表面法线重建融合系统及重建融合方法。

背景技术

目前，三维重建是计算机视觉的重要领域。近年来，随着技术的不断迭代与发展，三维重建的速度与精度已经得到巨大的提升。作为环境感知的关键技术之一，许多的三维重建方法已经可以用于具体商业产业及领域，如自动驾驶、虚拟现实、增强现实、土木工程、医疗。此外，日益提倡的以人为本，让人因工程的概念出现在人们的视野中。人因工程的理念突出机器适应人，以便于人更好的使用机器，完成任务。而人因工程的关键在于人与机器的交互，三维重建作为计算机视觉的重要领域，是机器完成人机交互的重要一环，如何利用算法获得精细的物体细节是重建的关键，是机器更好的与人交互的关键，也是人因工程的关键。

一般来说，主流的三维重建方法可以分成两大类：基于几何的三维重建方法和基于光学的三维重建方法。其中基于几何的传统三维重建方法是利用重建场景的不同角度拍摄的多张图像作为输入，通过运动恢复结构算法获得重建场景的相机姿态和稀疏粗糙的点云，然后利用多视图立体几何算法将粗糙的点云转化为稠密的点云，最后利用泊松重建算法，获得场景的三维模型。这类型的方法的缺陷是重建速度慢，对纹理弱的区域重建精度低。由于基于几何的三维重建方法对细节重建精度较低，因此本方法采用基于光学的三维重建方法。近年来，随着深度学习的迅速发展，基于光学的三维重建方法的主流方法慢慢转向深度学习算法。在传统算法中，光度立体视觉法PS(Photometric Stereo)，未标定的光度立体视觉法UPS(Uncalibrated Photometric Stereo)，相比于基于几何的三维重建方法都能获得不错的细节精度，其中标定的光度立体法是利用重建场景同视角的不同光照情况下拍摄的多张照片及光照信息作为输入，使用漫射模型解出场景的法向量，然后对法向量积分得到三维模型，而未标定的光度立体法是利用重建场景单一视角的不同光照情况下拍摄的多张照片作为输入，对输入进行奇异值分解得到形状近似，然后利用线索约束，如最大散度法将广义浮雕歧义转换为二义问题。因为标定的光度立体视觉法输入的严苛，还有未标定光度立体视觉法的二义性问题，导致其应用不如基于几何的三维重建方法普及。深度学习的出现解决了传统算法的问题，在深度学习中，利用海量的合成样本训练多层次的神经网络，通过深度学习挖掘当前公式不能表达的未知而泛化的输入照片与输出法向量的关系，解决了光度立体视觉法的严苛输入问题及未标定光度立体视觉法的二义性问题，但由于神经网络的特殊性，无法解释具体每一层的意义，因为并没有将以往的经验知识完全用上，在面对训练样本以外的输入时，可能会出现效果较差的情况。

总之，传统的算法存在输入严苛或输出二义性的问题；而深度学习网络中间层的不可解释性，使得深度学习虽然在面对训练样本类型的输入时有好的结果，但面对训练样本类型以外的输入时，可能会出现较差的情况。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种表面法线重建融合系统及重建融合方法。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种表面法线重建融合系统，包括基于深度学习的未标定光度的立体视觉模块A、基于最大散度的未标定光度的立体视觉模块B及基于深度学习的融合模块；

立体视觉模块A包括光照估计子模块和法线估计子模块；光照估计子模块用于提取照片的光照特征；法线估计子模块用于输入照片及照片的光照特征，提取物体的表面法向量；