[发明专利]基于神经网络的三维物体法向量、几何及材质获取方法

说明书

本发明公开了一种基于神经网络的三维物体法向量、几何及材质获取方法，本发明在“对物体主动照射若干特定的图案，同时采集照片，通过对所得照片计算来获得物体法向量”的思想上，给出了一个结合神经网络的获取方法。进一步地，该方法将获得的法向量用于优化物体的模型。该方法还可在获取法向量的同时，获取材质特征信息。最终联合得到高质量的几何及材质采集结果。使用该方法得到的光照图案数量少，所获取的法向量精度高且该方法不限于某一特定的采集设备。

技术领域

本发明涉及一种基于神经网络获取三维物体法向量的方法，及基于此方法的几何优化方法及材质获取方法，属于计算机图形学和计算机视觉领域。

背景技术

数字化真实物体一直以来是计算机图形/视觉领域的难题。目前，数字化的真实物体可以用三维网格和六维的随空间变化的双向反射分布函数(SVBRDF)来表达。基于这种表达方式，任何观察角度和光照情况下的物体外观都能被很好地渲染得到。

然而，如何高效高质量地同时获取物体的反射信息和几何信息仍然是个很大的挑战。一方面，高质量要求测量时能够获得尽可能多的观测值。另一方面，在实际采集过程中，又希望测量时间尽可能缩短。此外，高质量的法向量可以优化粗糙的三维网格，从而得到精细的几何模型，但目前没有高效高质量地获取法向量信息的方法，该问题仍是个很大的挑战

目前已有的方法/系统能够比较好地在已知几何或材质的情况下，采集另一个信息。例如，使用结构光(Daniel Scharstein and Richard Szeliski.2003.High-accuracystereo depth maps using structured light.In CVPR.)或SFM(structure-from-motion)(Johannes Lutz Sch6nberger and Jan-Michael Frahm.2016.Structure-from-Motion Revisited.In CVPR.)等技术可以采集反射属性不太复杂的场景。再例如，采集材质属性时使用的光照舞台，可以假设物体处于远光的情况(Andrew Gardner，Chris Tchou，Tim Hawkins，and Paul Debevec.2003.Linear light source reflectometry.ACMTrans.Graph.22，3(2003)，749-758.)，也可以利用采集对象为某种特定几何物体的先验知识，简化采样难度。虽然有一些同时采集物体的几何和材质信息的前人工作，但这些方法也都有比较强的简化假设。例如，假设物体处于远光(Borom Tunwattanapong，Graham Fyffe，Paul Graham，Jay Busch，Xueming Yu，Abhijeet Ghosh，and PaulDebevec.2013.Acquiring Reflectance and Shape from Continuous SphericalHarmonic Illumination.ACM Trans.Graph.32，4，Article 109(July 2013)，12 pages.)，或材质信息为各向同性的(Rui Xia，Yue Dong，Pieter Peers，and XinTong.2016.Recovering Shape and Spatiallyvarying Surface Reflectance UnderUnknown Illumination.ACM Trans.Graph.35，6，Article 187(Nov.2016)，12 pages.)，也有从基材质的角度出发，通过限制基材质的个数(Michael Holroyd，Jason Lawrence，andTodd Zickler.2010.A Coaxial Optical Scanner for Synchronous Acquisition of 3DGeometry and Surface Reflectance.ACM Trans.Graph.29，4，Article 99(July 2010)，12 pages.)，来简化问题的。