[发明专利]用于生成全景图像的装置和方法以及计算机可读介质

说明书

技术领域

本发明涉及图像处理装置、图像处理方法和计算机可读介质，并且尤其涉及一种图像处理装置、一种图像处理方法和一种计算机可读介质，其中以低计算成本获得高质量全景图像。

背景技术

通常，通过彼此叠置和合成使用并入相机等的数字VCR(盒式录像机)已捕获的多个静止图像来生成全景图像的技术已被使用(参照例如日本未经审查的专利申请公开第2003-198902号)。由于通过布置和合成多个静止图像获得了全景图像，因此，在全景图像中显示比要捕获静止图像时在空间上用作图像捕获对象的区域更大的区域作为表现对象。

然而，如果在要生成全景图像时未考虑已经被移动了的表现对象(在下文中被适当地称为“移动表现对象”)并且静止图像简单地彼此重叠，则移动表现对象附近的区域在静止图像彼此重叠的部分处可能模糊，或者一部分移动表现对象可能缺失。生成该模糊或缺失引起了全景图像的质量劣化。

因此，考虑到移动表现对象，已经提出了利用图论中的最短路径问题解决方案的方法，作为用于检测用来在静止图像之间进行连接的接合部分的方法(参照饭吉建彰和三桥涉的“Image Mosaic Generation Method forGenerating Panorama Image”，第6至11页，图像实验室2008年6月号，日本工业出版株式会社，2008年8月5日出版)。

在该方法中，如图1中所示，确定其中彼此相邻的两个静止图像It和I(t+1)彼此重叠的区域中包括的接合线SL。应当注意，在图1中，水平方向和竖直方向分别表示x方向和y方向，并且静止图像It和I(t+1)被布置为在xy坐标系统中彼此重叠。

在图1中示出的示例中，使用在其中静态图像It和I(t+1)彼此重叠的区域中计算的成本值来计算对应于最小成本的接合线SL。具体地，高成本被设定给静止图像中包括的移动表现对象，而低成本被设定给静止表现对象，生成二维曲线，并且确定对应于最小成本的接合线SL。因此，获得了防止静止图像中包括的移动表现对象被分割的接合线SL。

在计算接合线SL之后，从静止图像It的左末端到静止图像It的接合线SL附近的部分的范围中的部分，以及从静止图像I(t+1)的接合线SL附近的部分到静止图像I(t+1)的右末端的范围中的部分被彼此合成，从而获得了全景图像。

如上文所述，由于在静止图像彼此合成之前获得了防止移动表现对象被分割的接合线SL，因此在执行合成时防止了生成模糊或缺失，并且可以获得较高质量的全景图像。

然而，当使用用于通过计算其中静止图像彼此重叠的区域中的成本值来获得对应于最小成本的接合线的方法时，可以使用存储二维成本图(即x和y方向的成本图(cost map))的存储器，并且确定最短路径的计算成本也变大了。

所期望的是以低的计算成本实现高质量的全景图像。

发明内容

根据示例性实施例，提供了一种用于生成全景图像的装置，包括：图像拾取单元，接收第一图像和第二图像，第一图像包括表示移动对象的第一图像数据，第二图像包括表示移动对象的第二图像数据；图像处理单元，确定移动对象在第一和第二图像之间的相对移动；连接线计算单元，基于相对移动确定表示第一图像的第一经修改的边缘和第二图像的第一经修改的边缘的第一连接线；以及全景合成单元，基于第一连接线合并第一和第二图像以生成全景图像。

根据另一示例性实施例，提供了一种用于生成全景图像的方法，包括：接收第一图像和第二图像，第一图像包括表示移动对象的第一图像数据，第二图像包括表示移动对象的第二图像数据；确定运动对象在第一和第二图像之间的相对移动；基于相对移动确定表示第一图像的第一经修改的边缘和第二图像的第一经修改的边缘的第一连接线；以及基于第一连接线合并第一和第二图像以生成全景图像。

根据另一示例性实施例，提供了一种被利用指令来编码的、在存储设备中有形地实施的非暂时性计算机可读介质，当这些指令在处理器上执行时，其执行用于生成全景图像的方法，该方法包括：接收第一图像和第二图像，第一和第二图像包括表示移动对象的第一和第二图像数据；确定移动对象在第一和第二图像之间的相对移动；基于相对移动确定表示第一图像的第一经修改的边缘和第二图像的第一经修改的边缘的第一连接线；以及基于第一连接线合并第一和第二图像以生成全景图像。

附图说明

图1是图示相关技术中的用于搜索接合线的方法的示图；

图2是图示图像拾取装置的配置的示例性实施例的示图；

图3是图示图像处理电路的配置的示例性实施例的示图；

图4是图示生成全景图像的示例性过程的流程图；