[发明专利]图像处理装置和图像处理方法

说明书

(交叉引用)

本申请要求2013年2月18日于日本申请的特愿2013-28615号的优先权，该作为优先权基础的申请中所记载的内容援引于本说明书中。另外，本申请中引用的专利、专利申请以及文献中所记载的内容也援引于本说明书中。

技术领域

本发明涉及图像处理装置尤其是在将2D影像转换为3D影像时所使用的进行图像处理用的装置、使用该装置的图像处理方法、能够读入该装置中并执行的图像处理用计算机程序、以及存储有该图像处理用计算机程序的信息记录媒介。

背景技术

最近，使用了3D影像的电影备受关注。3D影像是利用人眼左右之间相离约65mm而左眼和右眼感受到的影像不同由此产生的两眼视差所实现的。由于人的左眼和右眼看到的是各不相同的2D影像，因此，当这些2D影像从视网膜表面的神经节细胞经由视神经传递至大脑中枢时，大脑对这些2D影像进行融合处理，从而作为立体影像来识别。

作为3D影像技术而众所周知的体视化(stereoscopic)立体影像技术是将两台摄像机镜头所存储的两种2D影像分为左眼用影像和右眼用影像并向人的左眼和右眼分别提供各影像，由此表现立体感的技术。但是，装有两台摄像机镜头的立体摄像机价格很高，并且存在如下的问题：即，为了实现高质量的3D影像需要考虑的事项极其多且复杂，如需要考虑立体摄像机的排列方式、各相机间的距离、角度及焦点的对准方式、使基于相机排列的几何学问题与色彩感或亮度等一致的作业等。因此，一般情况下，不是从最开始就制作3D影像，而是使用将2D影像转换为3D影像的方法。

3D影像能够通过对原始的2D影像的各目标物体(object)仅移动与规定深度信息相当的两眼视差而生成。即，在将2D影像转换为3D影像时，需要生成2D影像内的深度图(depthmap)这一过程。深度图作为表示相对于2D影像内的目标物体的三维距离的地图，每一像素能够表现为0～255之间的灰色标度值。深度值是值越大(指亮度颜色)，表示观看影像的位置距离越近。如此，由于3D影像是利用2D影像和上述深度信息来生成，因此，在从2D影像制作高质量的3D影像时，需要正确地生成深度图。在生成正确的深度图时，应综合考虑构成2D影像的各图像帧(imageframe)内的目标物体与背景的关系、目标物体的位置、目标物体间的重叠(overlap)、目标物体的体积等。因此，生成正确的深度图的作业是如下作业：即，由专业技术人员重叠一个一个的目标物体并目视确认目标物体与背景的重叠，并且，沿着目标物体的轮廓、目标物体内的规定区域的轮廓以大致像素单位分割欲立体化的区域。

另外，除了上述人工操作的作业之外，作为用于提取图像内的对象区域的区域分割方法的一种，已知有分水岭算法(WaterShedalgorithm)。该算法是指：以地形而言的话，将图像内的灰色标度信息(亮度等)视为高度，并且，以在该地形中填满水时能够划分出积存在不同凹处的水之间的边界这一方式将图像进行分割的方法。利用上述算法，也能够将构成2D影像的各帧(图像)内的目标物体分割为多个区域(例如，参照专利文献1、2)

【现有技术文献】

【专利文献】

专利文献1：国际公开WO2006/080239号

专利文献2：日本公报、特开2008-277932号

发明内容

(发明所要解决的课题)

但是，在上述现有技术中存在如下问题。首先，通过特殊技术者的手工作业对构成2D影像的图像帧内的目标物体、进而各目标物体内的区域进行分割的方法，需要非常多的的时间，在将2D影像转换为3D影像的工序中也最为需要时间和劳力。因此，存在深度图生成工序所涉及的成本高这一问题。而且，由于操作者技术高低的不同也会造成深度图质量出现变动，因此也存在最终形成的3D影像的质量容易变动这一问题。

另一方面，利用分水岭算法的区域分割方法由于是使用软件对各区域自动地进行分割，因此，相比由特殊技术者进行的手工作业在成本方面有利。但是，在使用分水岭算法时，存在对于3D影像的生成而言执行了过度分割(过分割)这一问题。作为抑制该过分割的方法，例如已知有在分水岭算法中加入区域合并(regionintegration)的处理，当色差在某一阈值内时视为同一区域，从而在分水区域内不形成边界的方法。