[发明专利]一种三维重构方法、装置、系统、电子设备及存储介质

说明书

本申请实施例提供了一种三维重构方法、装置、系统、电子设备及存储介质，其技术方案要点是：包括：获取待测物体的图像信息；图像信息包括在不同方位光源单一拍摄角度下不同打光角度的图片集合；将图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息；将一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；获取图像像素与真实世界的对应比例关系；根据图像像素与真实世界的对应比例关系以及深度图计算得到待测物体表面各点的坐标。本申请实施例提供一种三维重构方法、装置、系统、电子设备及存储介质的具有简单高效低成本的进行三维重构的优点。

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种三维重构方法、装置、系统、电子设备及存储介质。

背景技术

目前，基于结构光的三维重构技术中，一般采用多个光源将拍摄的多幅图案投影到被测物体上，用一个表面在不同光照条件下所拍摄的图像序列来重构这个表面的形状。

现有的三维重构方法中，通常使用一些深度扫描仪、激光器、三维相机等设备来获取三维信息，但是由于这些设备价格都比较昂贵并且图像处理速度很慢，且不适合较大物体局部的快速重构，因此有很大的局限性。

针对上述问题，需要进行改进。

发明内容

本申请实施例的目的在于提供一种三维重构方法、装置、系统、电子设备及存储介质，具有简单高效低成本的进行三维重构的优点。

第一方面，本申请实施例提供了一种三维重构方法，技术方案如下：包括：

获取待测物体的图像信息；所述图像信息包括不同方位的光源下拍摄待测物体表面得到的单一拍摄角度下不同打光角度的图片集合；

将所述图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息，所述一维向量的全连接层信息包括不同方位光源的方向信息以及强度信息；

将所述一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图；

获取图像像素与真实世界的对应比例关系；

根据所述图像像素与真实世界的对应比例关系以及所述深度图计算得到待测物体表面各点的坐标。

进一步地，在本申请实施例中，所述图像信息还包括一张在不同方位的光源全部点亮下拍摄待测物体表面得到的第二图片。

进一步地，在本申请实施例中，所述将所述图像信息输入光线估计卷积神经网络，得到一维向量的全连接层信息的步骤包括：

使用所述光线估计卷积神经网络的卷积核提取所述图像信息的局部特征，得到与图像集合中图像个数相等个数的、代表该局部特征的第一特征图；

使用所述光线估计卷积神经网络的池化层对与图像集合中图像个数相等个数的、代表该局部特征的所述第一特征图进行处理，得到融合了多个局部特征的融合特征图；

使用所述光线估计卷积神经网络的卷积核对所述融合特征图进行处理，得到一维向量的全连接层信息。

进一步地，在本申请实施例中，将所述一维向量的全连接层信息输入法线估计卷积神经网络，得到深度图的步骤包括：

使用所述法线估计卷积神经网络的卷积核提取一维向量的全连接层信息的第二特征图；

将所述第二特征图输入所述法线估计卷积神经网络的池化层，得到第三特征图；

根据所述第三特征图，使用所述法线估计卷积神经网络的卷积核得到物体表面的法向量图；

根据所述法向量图计算出深度图。

进一步地，在本申请实施例中，所述根据所述法向量图计算出深度图的步骤包括：