[发明专利]人体场景图像本征分解与重光照方法和装置

说明书

本发明提出一种人体场景图像本征分解与重光照方法和装置，其中，方法包括：使用Clo3d制作人体模型，使用blender进行光线追踪进行渲染，得到训练数据集；使用单张图像预训练法线预测网络；将原始图像与预测得到的法线图作为图像本征分解网络的输入，预测得到反射率图、阴影图以及球谐光照参数；使用新的球谐光照参数对原图像进行重光照。最终将单张图片分解为反射率图与阴影图，可以实现图片重光照、3D模型合成、模型表面纹理重构等应用。在三维重建领域可以去除输入图片的阴影，提升三维重建模型的表面纹理质量。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种人体场景图像本征分解与重光照方法和装置。

背景技术

图像本征分解是一个经典的视觉图像处理问题，涉及到将单张图像分解为多张表示该图像本征性质的图像，是一个欠定问题。常见的图像本征分解方法将图像分解为albedo map，shading map，更进一步的，还可以从单张图像中获取normal map,light map以及BRDFs。图像本征分解有着许多应用，例如3D模型合成、模型表面纹理重构以及重光照等。

图像分解方法可以分为两大类：基于优化的图像本征分解、基于深度学习的图像本征分解。基于优化的图像本征分解依赖较强的物理先验，基于阴影与反照率图像物理性质的不同进行图像分解，代表性的方法有Retinex算法，该算法利用了光照的低频性质，认为图像梯度较大的变化是反射率变化，梯度较小的变化是光照变化。但是基于优化的图像本征方法只适用于简单场景下的图像分解，对复杂光照场景下的图像分解效果不好。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种人体场景图像本征分解与重光照方法，以实现在三维重建领域可以去除输入图片的阴影，提升三维重建模型的表面纹理质量。

本发明的第二个目的在于提出一种人体场景图像本征分解与重光照装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种人体场景图像本征分解与重光照方法，包括：使用卷积神经网络对单张RGB图像进行分解，将所述单张RGB图像分解为反射率图、阴影图、法线图；获取新的光照参数，其中，所述新的光照参数为与所述单张RGB图像的光照参数不同的光照参数；根据所述新的球谐光照参数对所述单张RGB图像进行重光照，以获取重光照的图像。

为达上述目的，本发明第二方面实施例提出了一种人体场景图像本征分解与重光照装置，包括：分解模块，用于使用卷积神经网络对单张RGB图像进行分解，将所述单张RGB图像分解为反射率图、阴影图、法线图；获取模块，用于获取新的光照参数，其中，所述新的光照参数为与所述单张RGB图像的光照参数不同的光照参数；重光照模块，用于根据所述新的球谐光照参数对所述单张RGB图像进行重光照，以获取重光照的图像。

为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面实施例所述的人体场景图像本征分解与重光照方法。

为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面实施例所述的人体场景图像本征分解与重光照方法。

为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述第一方面实施例所述的人体场景图像本征分解与重光照方法。