[发明专利]图像处理装置、图像处理方法和程序

说明书

技术领域

本发明涉及用于产生全景图像的图像处理装置和图像处理方法并且涉及用于实现该图像处理装置和图像处理方法的程序。

背景技术

如在日本特许专利公开No.2010-161520（US2010/0171810A1）中描述的，已知由多个图像产生单个全景图像的图像处理。

例如，用户在水平扫动相机的同时拍摄多个图像（帧图像数据），并且将这些图像合成来得到所谓的全景图像。

这里，“扫动”是指为了得到用于产生全景图像的多个帧图像数据，当拍摄图像时通过图像拍摄设备的旋转运动来改变图像拍摄方向的操作。例如，当沿着水平方向改变图像拍摄方向时，扫动方向是水平方向。

发明内容

当产生全景图像时，确定相邻的拍摄图像之间的接缝，以合成图像。

就确定接缝以合成图像而言，存在下列问题。

在通过合成多个拍摄图像（多个帧图像数据）来产生全景图像的处理中，如果在将要拍摄的场景中存在移动被摄体，则该移动被摄体的一部分被断开或变得模糊，这造成图像的破绽和图像质量的降低。

因此，在过去，已经提出了一种方法，其中在已经检测到移动被摄体之后，确定用于形成全景图像的接缝，以避开移动被摄体。

在KenSho Iiyoshi和Wataru Mihashi的“Image mosaic generation method for generating panoramic image（用于产生全景图像的图像拼接产生方法）”（图像实验室，日本工业出版有限公司（2008年6月））中描述的方法中，提出一种使用图论中的最短路径问题的解决方法的方法作为确定用于合成图像的接缝的方法。在这个方法中，由在两个相邻帧的重叠区域中已经计算出的成本值，计算最低成本的接缝。在移动被摄体中设置高成本并且在静止被摄体中设置低成本以生成图，并且确定最低成本的接缝。因此，可以按高精度确定具有给定形状的接缝，而没有使移动被摄体断开。

然而，用于确定接缝的处理负荷较高，并且可能需要充足的资源如增大的计算能力和存储器容量。

同时，在日本特许专利公开No.2009-268037（US2009/0290013A1）中，与过去相比，通过将二维被摄体信息（像素值、移动被摄体检测、面部检测、身体检测等）投影到一维扫动轴上，保持被摄体信息所需的存储器减少。另外，提出了以下方法：在垂直于扫动轴的方向上确定帧之间的连线（直线），而不使移动被摄体断开，从而抑制了在全景图像中移动被摄体被断开和因重叠造成的移动被摄体的模糊的风险，并且与二维搜索相比，处理的计算复杂度降低。

另外，在这种方法中，还解决了用于防止多个接缝彼此相交的限制变得复杂以及计算成本增加的这类缺点。

然而，在这种方法中，因为接缝限于垂直于扫动方向的直线，所以接缝搜索的灵活性低，并且在许多情况下，找不到不使移动被摄体断开的接缝。

根据本发明的实施方式，就上述缺点而言，在产生全景图像的过程中，可以设置具有高度灵活性的接缝而不增加处理负担。

根据本发明的实施方式，提供了一种图像处理装置，所述图像处理装置包括：接缝基准确定处理单元，使用将用于产生全景图像的一系列n个帧图像数据中的相邻两个帧图像数据的被摄体信息，确定将用作基准线的接缝基准，所述基准线用于确定所述相邻两个帧图像数据之间的接缝，n是等于或大于2的自然数；以及接缝确定处理单元，只在基于所述接缝基准确定处理单元确定的所述接缝基准设置的确定区域内，使用所述被摄体信息确定所述相邻两个帧图像数据之间的接缝。

根据本发明的实施方式，提供了一种图像处理方法，所述图像处理方法包括：接缝基准确定处理，使用将用于产生全景图像的一系列n个帧图像数据中的相邻两个帧图像数据的被摄体信息，确定将用作基准线的接缝基准，所述基准线用于确定所述相邻两个帧图像数据之间的接缝，n是等于或大于2的自然数；以及接缝确定处理，只在基于所述接缝基准确定处理中确定的所述接缝基准设置的确定区域内，使用所述被摄体信息确定所述相邻两个帧图像数据之间的接缝。

根据本发明的实施方式，提供了一种致使运算处理装置执行以上处理的程序。