[发明专利]一种基于深度学习的多光谱光度立体表面法向恢复方法

说明书

本发明涉及多光谱多度立体表面法向恢复领域，特别公开了一种基于深度学习的多光谱光度立体表面法向恢复方法。该方法利用多光谱光度立体系统，拍摄单张待恢复物体的照片；将拍摄的单张待恢复物体照片的RGB通道分离为三幅单通道的灰白图像；利用三输入标准光度立体算法输入三幅单通道图像，得到初始表面法向；将单张待恢复物体的照片以及初始表面法向一同输入深度网络模型，利用深度学习算法，输出准确的表面法向。本发明步骤简单，相比于传统多光谱光度立体算法，不需要预先标定物体，也不需要使用其他设备获得部分位置的初始深度，而是完全采用自身信息，获得初始表面法向并利用深度学习算法恢复准确的表面法向。

（一）技术领域

本发明涉及多光谱多度立体表面法向恢复领域，特别涉及一种基于深度学习的多光谱光度立体表面法向恢复方法。

（二）背景技术

物体表面法向恢复是三维重建的一个重要组成部分，是计算机视觉领域中具有广泛应用价值的研究方向。多光谱光度立体表面法向恢复方法是一种单张图像预测表面法向的方法，能够作用于运动或非刚性物体的表面法向恢复。表面法向相比于二维的图像，可以提供物体的表面形状数据和深度数据，能够更加全面的展示物体特性。因此在无人驾驶、地理测量、人机交互、现代医学等多个领域都有着广泛的应用。

但是现存的多光谱光度立体表面法向恢复方法在实际应用中局限性很大：传统方法需要对待测物体进行预先的材质标定，或者需要预先知道物体表面部分位置的准确深度信息。这些条件在实际应用中是难以实现的。此外，由于传统的多光谱光度立体方法依赖这些预先的信息，在实际操作中经常会由于预先信息的偏差导致方法预测表面法向的误差。

（三）发明内容

本发明为了弥补现有技术的不足，提供了一种步骤精确、准确度高的基于深度学习的多光谱光度立体表面法向恢复方法。

本发明是通过如下技术方案实现的：

一种基于深度学习的多光谱光度立体表面法向恢复方法，包括如下步骤：

（1）利用多光谱光度立体系统，拍摄单张待恢复物体的照片；

（2）将拍摄的单张待恢复物体照片的RGB通道分离为三幅单通道的灰白图像；

（3）利用三输入标准光度立体算法输入三幅单通道图像，得到初始表面法向；

（4）将单张待恢复物体的照片以及初始表面法向一同输入深度网络模型，利用深度学习算法，输出准确的表面法向。

本发明利用三输入标准光度立体算法，首先获得初始表面法向，尽管初始表面法向是不准确的，但是，利用深度学习算法，与拍摄的照片进行融合，可以输出准确的恢复表面法向。本发明通过加入初始表面法向，改进了深度学习算法，提高了多光谱光度立体表面法向恢复的准确度。

本发明的具体技术方案为：

步骤（1）中，待恢复物体在红绿蓝三个灯照射下拍摄，以待恢复物体为坐标轴原点，建立笛卡尔坐标系，红绿蓝三个灯光照射方向的单位向量分别为，，。

步骤（2）中，将经RGB通道分离的单通道图像分别存为，，。

步骤（3）中，三输入标准光度立体算法为 C=ρ Ln；其中，ρ为可求的固定的标量，，为图像上像素点坐标，，n为待求的像素点初始表面法向。在利用三输入标准光度立体算法的情况下，忽略了红绿蓝灯在不同通道中的混杂以及物体表面的材质信息，因此求得的初始表面法向是有误差的。