[发明专利]产生深度信息的方法与装置

说明书

技术领域

本发明是有关于一种处理图像的方法及装置，且特别是有关于一种产生深度信息的方法与装置。

背景技术

随着图像处理技术的蓬勃发展，立体视觉技术（Stereo Vision）已逐渐且广泛地应用于各种领域。立体视觉广义来说可包括两个阶段，前期阶段包括利用深度摄影机、立体摄影机或是利用相关的三维立体图像算法等方式来产生深度信息，而后其阶段为利用深度信息来产生不同视角的图像。由此可知，为了产生视觉体验较佳的立体图像，准确的深度信息是非常重要的。

对于具有双镜头的立体成像系统来说，立体成像系统的双镜头可拍摄同一区域不同角度的图像，而结合左、右镜头所拍摄图像间的像差信息以及预知的镜头间距，则可估测出图像中各个物件的深度信息。一般来说，深度信息往往可用一深度图（depth map）来表示，并利用纪录于深度图上的深度值来表示二维图像中不同物件或像素点的深度。其中，基于区域关联性（local-correlation）以及像素匹配（pixel-wise matching）的深度产生算法已普遍见于具有双镜头的立体成像系统中。

然而，基于区域关联所产生的深度图可能发生边缘模糊的情形，而像素匹配的方式也会导致庞大的计算量并且相当耗费存储器。也就是说，不同的深度信息产生算法会具备不同的精确度与计算量。因此，如何在可允许的计算量与复杂度下产生精确的深度信息，并提高根据此深度信息所产生的三维图像的品质，实乃本领域技术人员所努力的方向之一。

发明内容

有鉴于此，本发明提供一种产生深度信息的方法与装置，可降低深度信息的噪声并提高深度信息的精准度，从而使立体成像系统所产生的立体图像具备较佳的视觉体验。

本发明提出一种产生深度信息的方法，适用于电子装置，所述方法包括下列步骤。首先，取得由立体成像系统拍摄的左图像及右图像，并对左图像与右图像进行三维深度估测，以获取关联于左图像与右图像其中之一且对应至多个第一像素的主深度图。此主深度图纪录分别对应至这些第一像素的多个主深度值。依据各第一像素的像素信息，将关联于主深度图的左图像或右图像划分成多个相关块，以获取包括这些相关块的一块分布图。利用此块分布图来判断这些第一像素所对应的主深度值是否符合置信条件，并将这些主深度值中不符合置信条件的多个无效深度值从主深度图中移除，从而产生包括多个破洞的待修复深度图。利用此块分布图而分别对待修复深度图中的这些破洞产生多个优化深度值，并将这些优化深度值填补至待修复深度图而产生优化深度图。

在本发明的一实施例中，上述的依据各第一像素的像素信息，将关联于主深度图的左图像或右图像划分成多个相关块，以获取包括这些相关块的块分布图的步骤包括下列步骤。比对这些第一像素中相互相邻的第一相邻像素与第二相邻像素，以判断第一相邻像素与第二相邻像素之间的像素值差是否小于一差异门槛值。若此像素值差小于差异门槛值，连接第一相邻像素与第二相邻像素而形成相关块中的第一相关块。此第一相关块至少包括第一相邻像素与第二相邻像素。

在本发明的一实施例中，上述的依据各第一像素的像素信息，将关联于主深度图的左图像或右图像划分成上述相关块，以获取包括这些相关块的块分布图的步骤还包括下列步骤。依据尺寸门槛值来限定各相关块的块尺寸而获取块分布图，其中各相关块的块尺寸不大于尺寸门槛值。

在本发明的一实施例中，上述的利用块分布图来判断第一像素所对应的主深度值是否符合置信条件，并将主深度值中不符合置信条件的无效深度值从主深度图中移除，从而产生包括破洞的待修复深度图的步骤包括下列步骤。依据块分布图将主深度图分成多个深度块，并分别对各深度块内的主深度值进行统计运算而获取统计结果。依据统计结果判断主深度值是否为无效深度值中的多个第一无效深度值，并将第一无效深度值从主深度图中移除，从而产生包括破洞中的多个第一破洞的待修复深度图

在本发明的一实施例中，在上述的将第一无效深度值从主深度图中移除而产生破洞中的多个第一破洞的步骤之后，此方法还包括下列步骤。分别以非为第一无效深度值的主深度值中的多个第一有效深度值为中心，计算一限定范围内这些第一无效深度值的多个无效密度值。依据这些无效密度值是否大于密度门槛值分别判断各第一有效深度值是否为无效深度值中的多个第二无效深度值。将第二无效深度值从主深度图中移除，从而产生包括破洞中的多个第二破洞的待修复深度图。