[发明专利]一种基于深度差恢复相机高度的图像深度改进方法

说明书

技术领域

本发明涉及一种计算机图像处理方法，特别是一种基于深度差恢复相机高度的图像深度改进方法。

背景技术

深度信息是图像空间信息不可或缺的组成部分，深度估计旨在通过对图像数据的运算从而求出深度信息，进而确定图像中不同物体对象间的空间位置关系。根据深度估计的结果不同，分为相对深度估计和绝对深度估计。相对深度估计是估计出图像中不同对象的相对位置关系，如人在房屋的前面，树木在房屋的后面等等，只需要用深度值区分出目标的前后位置即可，但该深度值不一定是该目标到相机的绝对深度。绝对深度估计是通过计算确定出图像中的目标相对于拍摄相机的垂直距离，甚至是每个像素所对应物体的绝对深度信息。

现有的单幅图像深度估计方法众多，主要包括1)基于阴影、纹理、遮挡线索等隐含信息的方法；2)基于机器学习法；3)基于成像模型等方法。

阴影法是利用现存的阴影，将场景图像与光源组成反射模型，利用阴影的变化实现深度估计。阴影也是一个基于单目图像的深度线索，常用的方法为SFS(Shape from Shading)。由于物体表面一般具有形状的变化，所以当光源照射到物体上时会造成明暗变化，也就是图像上的阴影。一般来说，物体上凸起的地方会比凹陷的地方亮，因此直观上来看，如果图像阴影和光源方向已知，是有理由能够恢复物体表面的三维模型的，有时也称为由明暗恢复深度。Durou等人对阴影恢复深度的相关算法进行了详细的讲解。纹理可以作为一种图像深度恢复的线索。对于有一定纹理的物体，当目标距离相机越远时，分辨率就越低，因此纹理就越模糊，反之，当目标距离相机越近，分辨率越高，纹理就越清晰。根据纹理的模糊程度不同可以估计出物体的远近关系。由纹理信息恢复深度的方法通常称为“Depth from Texture”。Loh等人提出了一种具有代表性的方法。基于纹理的方法也需要有关纹理的先验知识。蓝建梁等人提出了一种基于多尺度纹理能量测度的单幅图像深度估计方法。

根据物体的前后遮挡关系可以判断物体之间的相对深度，被遮挡的物体应该处于更深的位置。遮挡关系是人类用于判断远近的重要深度线索，也是单只眼睛可以判断物体远近的主要原因之一。人眼可以根据物体的种类、大小、颜色及形状等先验知识，较容易的判断出物体间的遮挡关系。而对计算机而言，则需要研究自动判断遮挡关系的算法。Wu等提出了一种在单目视频中进行遮挡检测(Occlusion Detection)的方法。该方法假定目标物体被遮挡都是从上下左右的某个边开始，遮挡发生时边界区域的像素值变化会比物体内部的像素变化大得多。Thoma等和Izquierdo分别提出了基于光度和几何的遮挡检测方法。Palou等利用遮挡线索进行了深度估计。

利用机器学习法恢复深度，也逐渐成为一种行之有效的深度估计方法。其基本原理是通过学习真实世界中不同物体特征与深度远近的关系，从而建立深度估计模型，推测出未知图像中目标的深度。例如，真实世界的任何一个物体的尺寸大小在像片中所成像尺寸的大小与物体距离摄像机的远近有直接关系，物体离摄像机越近，在图像中成像就越大。如果用机器学习的方法学习了某个物体的深度位置和图像中大小的对应关系，就可以根据该目标的成像大小推出该目标当前的深度。

Saxena采用了机器学习方法进行了图像深度估计。之后很多学者采用马尔科夫随机场改进算法完善了深度估计结果。除马尔科夫随机场模型，也有一些其他的训练方法被用于深度估计。Lin等采用支持向量机(SVM)训练器进行深度估计；Battiato等采用场景分类方法生成了深度图；Nedovic等采用对场景进行几何分类的方法和SVM及AdaBoost算法进行了图像深度估计。