[发明专利]一种基于深度学习的多目标场景偏振三维成像方法

说明书

本发明公开了一种基于深度学习的多目标场景偏振三维成像方法，包括：利用偏振三维成像系统获取多目标场景不同偏振角度的场景图像；构建神经网络；对神经网络中的清晰化网络模块和模糊距离估计网络模块分别进行训练；利用经训练的神经网络模型获得多目标场景不同偏振角度的场景图像中不同的目标的深度估计结果和清晰目标图像；获取不同目标物体表面的偏振度，以及不同目标物体表面入射光的方位角和入射角；对多目标偏振三维成像场景中的偏振求解得到的法向量进行校正；利用不同目标的方位角和入射角信息，实现多目标场景下物体表面三维轮廓的重建。本发明将深度学习与偏振三维成像相结合，实现了多目标场景的高精度偏振三维成像。

技术领域

本发明属于光学成像技术领域，具体涉及一种基于深度学习的多目标场景偏振三维成像方法。

背景技术

偏振三维成像作为对目标三维重建的方法之一，有着设备简单、无需对光源进行调制以及目标三维重建高频信息丰富等特点，已经成为三维成像技术领域中最具发展潜力的方法之一。同时，在计算机视觉领域，深度神经网络通过训练可以获得物体的深度信息，并展现出良好的性能。然而，对于多目标场景进行偏振三维重建时，由于场景中存在两个及以上的待重建目标，利用单相机的光学探测系统，以及法向量反演三维轮廓信息的方法，无法对场景中多个目标的空间关系进行准确获取，造成在不同目标边缘位置处的重建出现畸变。因此需要进一步提高三维重建的重建效果，降低结构的复杂度，使更广泛的应用成为可能。

目前提出了一种基于体素的神经网络三维重建方法，该方法通过设计一个三维递归重建神经网络(3D-R2N2)，采用深度学习从2D图像到其对应的3D体素模型的映射，模型结构为Encoder(编辑器)+3D LSTM(Long short-term memory，长短期记忆)神经网络+Decoder(解码器)，通过数据集的训练，使得对网络输入单张或多张RGB图像，可以输出目标在体素空间的三维表达。该方法既适用单视图，也适用多视图，如果是多视图，则将多视图看作一个序列，输入到LSTM神经网络当中，输出多个结果。该方法的优点是该网络不需要任何图像注释或分类标签来进行训练或测试，且只需要单张彩色图片就可以生成三维图像，该模型可以在图片特征点过少或图片视角数量不足的情况下进行三维重建。但是，基于体素的神经网络三维重建方法存在的缺点在于重建后的模型精度低，无法完成精细的三维重建任务。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于深度学习的多目标场景偏振三维成像方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于深度学习的多目标场景偏振三维成像方法，包括：

S1：利用偏振三维成像系统获取多目标场景不同偏振角度的场景图像；

S2：构建神经网络，所述神经网络包括清晰化网络模块和模糊距离估计网络模块，其中，所述清晰化网络模块用于对输入的阈值分割后的偏振图像中不同物距处目标进行清晰化重建，获得清晰图像，所述模糊距离估计网络模块用于将所述模糊图像与清晰图像之间的映射关系作为多目标场景中的先验信息进行目标距离估计，获得不同目标与相机之间距离的估计值；

S3：对所述神经网络中的清晰化网络模块和模糊距离估计网络模块分别进行训练，获得经训练的神经网络模型；

S4：利用所述经训练的神经网络模型获得多目标场景不同偏振角度的场景图像中不同的目标的深度估计结果和清晰目标图像，识别不同目标物体；

S5：获取所述不同目标物体表面的偏振度，以及不同目标物体表面入射光的方位角和入射角；

S6：对多目标偏振三维成像场景中偏振求解得到的法向量进行校正，获得校正后的方位角信息；

S7：利用不同目标的方位角和入射角信息，实现多目标场景下物体表面三维轮廓的重建。

在本发明的一个实施例中，所述S1包括：