[发明专利]图像处理设备和方法

说明书

本申请要求于2012年3月15日提交到韩国知识产权局的第10-2012-0026412号韩国专利申请的优先权利益，该申请的公开通过引用包含于此。

技术领域

一个或多个示例实施例涉及一种用于使用单个相机来产生三维（3D）全景图像的设备和方法。

背景技术

一般的全景图像产生方法可基于用户在没有摇晃相机的情况下水平地平移（pan）相机（即，水平地旋转相机以获取全景图像）的假设，连接与左眼和右眼相应的立体图。然而，当拍摄者实际在平移相机的同时拍摄照片时，会由于拍摄者出现瞬间手摇晃或抖动。另外，针对相同点的左眼全景图像和右眼全景图像是具有视差的不同的图像，因此，质量会下降。

发明内容

通过提供一种图像处理设备来实现上述和/或其他方面，所述图像处理设备包括：参考产生器，用于使用多个输入图像帧中的每个输入图像帧的中心区域，来产生二维（2D）参考全景图像；像条提取器，用于当基于2D参考全景图像在多个输入图像中计算的相似度具有最大值时，提取左眼像条和右眼像条。

在实施例中，参考产生器可通过混合所述多个输入图像帧中的每个输入图像帧的预定中心区域，来产生2D参考全景图像。

在实施例中，像条产生器可包括：左眼像条产生器，用于当基于2D参考全景图像从预定左眼像条提取位置沿着垂直方向计算的相似度具有最大值时，提取左眼像条；右眼像条产生器，用于当基于2D参考全景图像从预定右眼像条提取位置沿着垂直方向计算的相似度具有最大值时，提取右眼像条。

在实施例中，左眼像条提取器可通过在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的模板匹配，来提取具有最大相关值的左眼像条。右眼像条提取器可通过在与2D参考全景图像相应的输入图像帧中的预定右眼提取位置的模板匹配，来提取具有最大相关值的右眼像条。

在实施例中，像条提取器可基于在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的颜色值和预定右眼像条提取位置的颜色值之间的相关性，提取左眼像条和右眼像条。

在实施例中，像条提取器可在与2D参考全景图像相应的输入图像帧中提取具有相同宽度的左眼像条和右眼像条。

在实施例中，图像处理设备还可包括：全景图像产生器，用于基于左眼像条和右眼像条产生左眼全景图像和右眼全景图像。

在实施例中，图像处理设备还可包括三维(3D)全景图像产生器，用于基于左眼全景图像和右眼全景图像之间的视差产生3D全景图像。

在实施例中，图像处理设备还可包括：处理单元，用于执行从拍摄装置输入的图像的球面变换，并通过对球面变换的图像之间的特征点进行匹配来执行图像匹配；计算单元，用于计算球面变换的图像之间的转换量；第一确定单元，用于确定所述转换量是否满足预定目标；第二确定单元，用于当所述转换量满足预定目标时存储球面变换的图像，并确定存储的球面变换的图像的数量是否满足用于产生3D全景图像的值。

通过提供一种图像处理设备来实现上述和/或其他方面，所述图像处理设备包括：全局对齐单元，用于通过对多个输入图像帧之间的特征点进行匹配来执行所述多个输入图像帧的图像匹配；局部对齐单元，用于使用二维2D参考全景图像在所述多个输入图像帧中的每个输入图像帧中沿着垂直方向对右眼像条和左眼像条进行局部对齐。

在实施例中，可基于所述多个输入图像帧中的每个输入图像帧的中心区域来产生2D参考全景图像。

在实施例中，当基于2D参考全景图像在所述多个输入图像帧中计算的相似度具有最大值时，局部对齐单元提取左眼像条和右眼像条。

在实施例中，局部对齐单元可基于左眼像条和右眼像条产生左眼全景图像和右眼全景图像。

通过提供一种图像处理方法来实现上述和/或其他方面，所述方法包括：使用多个输入图像帧中的每个输入图像帧的中心区域来产生二维2D参考全景图像；当基于2D参考全景图像在所述多个输入图像帧中计算的相似度具有最大值时，提取左眼像条和右眼像条。

在实施例中，所述产生步骤可包括通过混合多个输入图像帧中的每个输入图像帧的预定中心区域来产生2D参考全景图像。

在实施例中，所述提取步骤可包括：当基于2D参考全景图像从预定左眼像条提取位置沿着垂直方向计算的相似度具有最大值时提取左眼像条；当基于2D参考全景图像从预定右眼像条提取位置沿着垂直方向计算的相似度具有最大值时提取右眼像条。