[发明专利]基于单图片本征图像分解的三维重建方法与系统

说明书

本发明公开了一种基于单图片本征图像分解的三维重建方法与系统，包括：采集多个物体的模型数据；利用反照率梯度指标与光照梯度指标改造视角图片，得到反照率梯度图和光照梯度图；利用反照率梯度图分割光照梯度图，在光照梯度图的各个区域内使用梯度场重建算法获得视角图片的光照图，再根据本征图像分解的原理获得视角图片的反射图；训练三维RGB重建网络；根据训练学习得到的三维RGB重建网络对新图片产生的光照图和反射图进行预测，得到新图片中物体的三维RGB模型，完成对物体的三维重建。本发明创新地采用了本征图像分解作为图片的预处理，从单张图片恢复物体的完整三维形状与表面色彩，为后续的三维模型操作奠定基础。

技术领域

本发明涉及计算机视觉的技术领域，尤其是指一种基于单图片本征图像分解的三维重建方法与系统。

背景技术

三维重建是指在二维图片中获取物体三维信息的技术，是计算机视觉中基础且困难的一个不适定问题(ill-posed problem)。虽然单张图片可以找到无数个三维模型与之对应，但由于现实世界中物体的三维模型趋向表面连通且光滑，并且形状与基本几何体或组合几何体相近，如果利用一些先验知识，从单张图片也能重建出逼真的三维模型。在传统单图片重建方法中有结合明暗、纹理、轮廓、对称等先验知识进行重建的方法，这类方法统称为Shape from X，其中较受关注的是从明暗关系恢复形状的方法(Shape From Shading,SFS)，该方法是基于假设物体所处光照环境与物体表面反射模型的一种重建算法。SFS通常结合亮度约束和表面光滑等约束，从照片亮度变化解出物体表面法向量或梯度来恢复三维形状。合理假设光照环境和反射模型是SFS恢复逼真模型的关键线索，两者是单图片重建的重要信息。其中光照环境与能够恢复三维形状的光照方向、观察方向与表面法向量有关，反射模型则与物体自身的材质有关，而蕴含光照环境和反射模型的信息可在一张图片中以一定方法相互分离，分离两者的方法可通过本征图像分解来完成。将分离的部分而不是整张图片作为三维重建的原始信息的做法在一定程度上加强了单图片重建的先验知识。

本征图像分解是将一张图片分解为光照图和反射图的方法，光照图蕴含光照环境的信息，反射图蕴含反射模型的信息，光照图与反射图相乘可以得到原图片。AnilS.Baslamisli等人(A.S.Baslamisli,Y.Liu,S.Karaoglu,and T.Gev-ers,“Physics-basedShading Reconstruction for Intrinsic Image Decomposition,”arXiv preprintarXiv:2009.01540,2020.)基于双色反射模型提出可以捕捉光照量和反射量变化的指标，以一种无监督的方式得到了本征图像分解的结果。这意味着光照图作为三维形状的原始数据可以免受颜色变化的干扰，恢复出更加逼真的三维形状。

如今结合深度学习的单图片三维重建方法是解决单图片对应无数三维模型的一大途径，深度学习卓越的感受与推理能力使算法可以在二维图片中学习到合理的三维信息。以得出的三维模型表示形式来看，深度学习三维重建方法可分为三类：以推断出三维表面点云坐标，推断占据三维物体的体素分布和推断三维网面的点边信息。相比点云和体素，三角形化网面使用顶点和边的属性就能表示一个面上所有点的信息，具有更高的表示效率，同时，三角形网面是众多渲染软件的常用处理格式之一，便于三维模型建成之后的后续处理。Nanyang Wang等人(N.Wang,Y.Zhang,Z.Li,Y.Fu,H.Yu,W.Liu,et al.,Pixel2Mesh:3D mesh model generation via image guided deformation,IEEE Trans.PatternAnal.Mach.Intell.,Apr.2020.)使用单张图片作为三维信息的来源，通过以图卷积为主要特点的深度神经网络将一个椭球体网面形变成物体的三维网面模型，同时通过投影映射和双线性插值的方法将二维图片的特征与图卷积的点边特征联系起来。该方法只需单张图片就恢复了物体完整的三维结构，但恢复三维物体表面的颜色信息时是采用预测三维结构的神经网络末尾的一个小分支进行预测，并没有整合原图片的信息，在通过单张图片预测三维物体表面颜色的情况下效果不佳。

发明内容