[发明专利]一种基于自监督学习模型的物体表面材质获取装置及方法

说明书

本公开的基于自监督学习获取物体表面材质的装置及方法，包括：摄像机和球形光源外罩及计算机系统；其中，所述摄像机安装在所述形光源外罩的中心位置，用于对所述待测物体进行拍摄；所述球形光源外罩，放置在所述待测物体表面上，用于在所述摄像机拍摄时提供恒定光源；计算机，用于基于摄像机拍摄所述待测物体的图像信息，法线信息和光源信息训练DCNN自监督学习网络，提取待测物体表面材质。通过设计的拍摄装置采集物体表面材质的图像数据，采用自监督学习的方式，训练DCNN实现对材质参数的准确提取；以避免使用复杂且昂贵的光学系统对材质进行各个方向上的测量和对采集环境的严格要求，降低获取物体表面材质的难度，减少人力和物力成本，提高效率。

技术领域

本发明属于物体表面材质重建技术领域，具体涉及一种基于自监督学习模型的物体表面材质获取装置及方法。

背景技术

对物体进行数字化重建在虚拟现实与增强现实领域、艺术创造等领域有着广泛的应用，它要求获取物体的几何信息、材质信息和当前环境光照信息，这些信息的获取对于重建物体外观起到决定性作用。

对于物体材质的获取，传统的方法主要通过复杂且昂贵的光学系统，在严格的实验环境中，对物体在各个方向进行致密的测量来实现对物体表面材质的重建，但这种方法局限性很大，不能广泛在实际中应用。

使用DCNN算法及拍摄装置从物体表面的图像数据中获取材质信息被广泛应用。例如在期刊“Material Editing Using a Physically Based Rendering Network”中，作者提出了使用DCNN(深度卷积神经网络)算法从物体的一幅图像中获取物体表面的法线、材质以及光照信息；使用BRDF(双向反射分布函数)描述物体表面材质，其中BRDF的不同参数表示不同的物体材质。利用计算机渲染产生的生成数据训练DCNN模型，采用监督学习模型使用DCNN网络对物体表面的单幅图像训练得到BRDF的参数，使用渲染层对BRDF的参数调优。但是，现实世界中多数物体表面由多种材质构成且纹理复杂，训练有效的DCNN网络所需要大量的训练数据很难在实际中获取，即使耗费巨大人力和物力采集的部分数据，也无法涵盖所有的材质，因此，该文中方案做不到与真实拍摄的图像完全相同，应用范围十分有限。

发明内容

本发明克服了现有技术的不足之一提供了一种基于自监督学习获取物体表面材质的装置和方法，以避免使用复杂且昂贵的光学系统对材质进行各个方向上的测量和对采集环境的严格要求，降低获取物体表面材质的难度，减少人力和物力成本，提高效率。

根据本公开的一方面，本发明提供一种基于自监督学习获取物体表面材质的装置，包括：摄像机和球形光源外罩以及计算机，其中，所述摄像机和球形光源外罩与所述计算机通过电缆相连接；

其中，所述摄像机安装在所述形光源外罩的中心位置，用于对所述待测物体进行拍摄；

所述球形光源外罩，放置在所述待测物体表面上，用于在所述摄像机拍摄时提供恒定光源。

所述计算机，用于基于所述摄像机拍摄所述待测物体的图像信息、法线信息和所述光源信息训练DCNN自监督学习网络，提取所述待测物体表面材质。

在一种可能的实现方式中，所述方法应用于上述的装置，所述方法包括：

利用摄像头采集待测物体表面材质的RGB图像，基于待测物体表面的法线信息确定所述测物体表面材质的法线图，并保存所述法线图；

将所述待测物体表面材质的RGB图像输入到计算机的DCNN自监督学习模型中进行训练，输出所述待测物体表面的材质参数矩阵函数BRDF到所述监督学习模型中的渲染层中；

根据渲染方程，结合所述待测物体表面的法线信息、对所述球形光源进行标定而成的环境图、及所述待测物体表面的材质参数矩阵函数BRDF渲染为新的待测物体表面材质的RGB图像；