[发明专利]一种透明物体单视图多尺度深度估计方法和系统

说明书

本发明公开了一种透明物体单视图多尺度深度估计方法和系统，利用对缺失深度的透明物体图像的边界信息进行预测，并将边界信息合成到原图像来增强透明物体的边界特征，并将合成图像送入深度估计网络来预测左视图与右视图的视差，即可获得透明物体的粗尺度深度信息，之后将粗尺度信息图送入多尺度深度估计网络，最终可得到透明物体的深度图。解决了双目摄像机捕获透明物体图像时存在的深度缺失问题，以及人工补全深度透明物体深度信息工作量大，效率低下和准确率低的技术问题。

技术领域

本发明涉及计算机机器视觉技术领域，尤其涉及一种透明物体单视图多尺度深度估计方法和系统。

背景技术

在计算机机器视觉中，对普通物体的深度估计需要获取透明物体在场景中实际的深度，而现有的3D传感器(Kinect或RealSense)只能捕获透明物体的RGB信息，无法在透明物体表面捕获可靠的深度数据。现有的透明物体深度采集方法先用深度相机对透明物体的RGB图片进行捕获，之后保持相机的位置不变，将场景中的透明物体替换成和它形状相同的不透明物体。这种方法需要大量的人工来对数据采集过程中的物体进行替换，且一旦透明物体的对象的种类增加，还需制作相应的不透明对象模型，工作量加大，效率低下，且准确率较低。为解决以上问题，本发明提供了一种透明物体单视图多尺度深度估计方法和系统，用于解决双目摄像机捕获透明物体图像时存在的深度缺失问题，以及人工补全深度透明物体深度信息工作量大，效率低下和准确率低的技术问题。

发明内容

本发明提供了一种透明物体单视图多尺度深度估计方法和系统，用于解决双目摄像机捕获透明物体图像时存在的深度缺失问题，以及人工补全深度透明物体深度信息工作量大，效率低下和准确率低的技术问题。

有鉴于此，本发明第一方面提供了一种透明物体单视图多尺度深度估计方法，包括：

获取双目摄像机捕获的缺失深度的透明物体的原左视图和原右视图，并提取原左视图和原右视图的透明物体的边界轮廓；

将左视图和右视图的透明物体的边界轮廓分别合成到原左视图和原右视图中，得到带有边界信息的左视图和右视图；

将带有边界信息的左视图或带有边界信息的右视图送入深度预测网络，得到左视差图和右视差图；

根据带有边界信息的左视图和右视图以及左视差图和右视差图建立深度预测网络的损失函数，对深度预测网络进行训练；

将一张场景中带有透明物体的RGB图片送入去掉由深度图生成左视差图和右视差图部分架构的训练好的深度预测网络，得到RGB图片对应的透明物体的粗尺度深度图；

根据原左视图和原右视图的透明物体的边界轮廓，在透明物体形状模板库中进行形状匹配，根据形状匹配结果对粗尺度深度图进行深度补全；

将原左视图和深度补全后的粗尺度深度图送入中尺度深度信息提取网络，得到中尺度深度图；

根据形状匹配结果对中尺度深度图进行深度补全；

将原左视图和深度补全后的中尺度深度图送入细尺度深度信息提取网络，得到细尺度深度图，其中，细尺度深度信息提取网络的卷积核大小大于中尺度深度信息提取网络的卷积核大小。

可选地，中尺度深度信息提取网络的卷积核大小为5×5，细尺度深度信息提取网络的卷积核大小为7×7。

可选地，获取双目摄像机捕获的透明物体的原左视图和原右视图，并提取原左视图和原右视图的透明物体的边界轮廓，包括：

获取双目摄像机捕获的透明物体的原左视图和原右视图；

将原左视图和原右视图送入边界预测网络，得到原左视图和原右视图的透明物体的边界轮廓。

可选地，将原左视图和原右视图送入边界预测网络，得到原左视图和原右视图的透明物体的边界轮廓，包括：