[发明专利]图像处理设备、图像处理方法以及程序

说明书

技术领域

本技术涉及一种图像处理设备、图像处理方法以及程序，更具体地，涉及能够更准确地检测由右图像和左图像构成的立体图像的视差的图像处理设备、图像处理方法以及程序。

背景技术

从由右图像和左图像构成的立体图像获得的视差对应于从观看立体图像的用户到对象的深度。因此，立体图像的视差检测可以应用于各种应用软件，诸如立体图像的视差调整或视点合成以及三维界面。立体图像的视差检测与检测右图像和左图像中的对应点的问题相关联（例如，参见日本未审查专利申请公布第2009-008539号）。

发明内容

然而，当在立体图像的一个图像上相对于立体图像的另一图像上的点存在可靠的对应点的多个候选时，诸如当在图像上存在平坦或重复图案部分时，难以准确地对点进行匹配，并且因此不会以高准确性检测视差。

例如，当图像上的物体的侧面或多个物体在深度方向上彼此重叠时，仅在立体图像的一个图像中存在特定对象的区域，并且通过在该区域中检测对应点的方法很少检测到视差。

期望提供一种能够更准确地检测立体图像的视差的图像处理设备、图像处理方法以及程序。

根据本技术的实施例，提供了一种图像处理设备，包括：视差图生成单元，其基于构成立体图像的右图像和左图像，生成表示立体图像的每个像素的视差的视差图；可靠度计算单元，其基于右图像和左图像，生成表示视差图的可靠度的可靠度图；深度信息估计单元，其基于右图像和左图像中的一个图像，生成表示立体图像上的对象的深度的深度信息图；深度视差转换单元，其将深度信息图转换成表示与深度相对应的视差的伪视差图；以及视差合成单元，其基于可靠度图对视差图和伪视差图进行合成，以生成校正视差图。

视差合成单元可通过使用由可靠度图确定的权重来以加权方式将视差图和伪视差图相加，生成校正视差图。

视差合成单元可包括：分量合成单元，其对伪视差图的高通分量和视差图的低通分量进行合成以生成合成图；以及加法单元，其基于可靠度图对视差图和合成图进行合成，以生成校正视差图。

视差合成单元可包括：分量合成单元，其对伪视差图的低通分量和视差图的高通分量进行合成以生成合成图；以及加法单元，其基于可靠度图对视差图和合成图进行合成，以生成校正视差图。

图像处理设备还可包括残差图生成单元，该残差图生成单元生成残差图，其中该残差图表示右图像和左图像中的一个图像的预定像素附近的区域与另一图像中对应于预定像素的对应像素附近的区域之间的残差。可靠度计算单元可基于残差图来生成可靠度图。

视差图生成单元可通过检测右图像和左图像中的一个图像的预定像素附近的区域与另一图像的像素附近的区域之间的残差最小的、另一图像的像素来作为与该一个图像的预定像素相对应的像素，生成视差图。图像处理设备还可包括峰值锐度图生成单元，该峰值锐度图生成单元生成峰值锐度图，其中该峰值锐度图表示在另一图像上的预定方向上排列的像素的残差的峰值的锐度并且用于生成可靠度图。

图像处理设备还可包括匹配度计算单元，该匹配度计算单元基于与右图像和左图像中的一个图像的预定像素相对应的、另一图像的第一对应像素的检测结果和该一个图像中与另一图像的第一对应像素相对应的第二对应像素的检测结果，生成表示预定像素与第一对应像素之间的匹配度的匹配度图。可靠度计算单元可基于匹配度图来生成可靠度图。

根据本技术的另一实施例，提供了一种图像处理方法或程序，其包括：基于构成立体图像的右图像和左图像，生成表示立体图像的每个像素的视差的视差图；基于右图像和左图像，生成表示视差图的可靠度的可靠度图；基于右图像和左图像中的一个图像，生成表示立体图像上的对象的深度的深度信息图；以及将深度信息图转换成表示与深度相对应的视差的伪视差图，并且基于可靠度图来对视差图和伪视差图进行合成以生成校正视差图。

根据本技术的又一实施例，基于构成立体图像的右图像和左图像，生成表示立体图像的每个像素的视差的视差图；基于右图像和左图像，生成表示视差图的可靠度的可靠度图；基于右图像和左图像中的一个图像，生成表示立体图像上的对象的深度的深度信息图；以及将深度信息图转换成表示与深度相对应的视差的伪视差图，并且基于可靠度图来对视差图和伪视差图进行合成以生成校正视差图。