[发明专利]图像合成装置及图像合成方法

说明书

技术领域

本发明涉及通过多个图像的合成来生成所期望的图像的图像合成装置、以及在该图像合成装置中执行的图像合成方法。

背景技术

在被摄体是人、动物等伴随着动作的物体的情况下，一般难以在该被摄体变成适于摄影的状态的时刻拍摄图像。尤其是在拍摄集体合影等的情况下，多个被摄体所有都以适于摄影的状态，例如视线朝向相机方向并没有眨眼、且面带微笑这一状态来拍摄图像是极其困难的，结果，对于所得到的摄影图像而言，任意一个被摄体以不优选的状态拍摄的情况较多。

对此，已知有一种如下所述的技术：利用在某个时刻拍摄多个被摄体的基准图像和在与此不同的时刻拍摄到的其他图像(称为比较图像)，生成所有被摄体都被以优选的状态拍摄的合成图像。例如，在专利文献1所公开的图像合成方法中，根据基准图像及比较图像来检测被摄体的脸部轮廓线或者包括到躯体部为止的轮廓线，将该轮廓线所包含的区域作为局部图像抽出。然后，当在基准图像中被摄体被以优选的状态拍摄时保持该被摄体区域不变，当在基准图像中被摄体没有被以优选的状态拍摄，但在比较图像中被以优选的状态拍摄时，通过将该比较图像所包含的被摄体区域适用于基准图像的被摄体区域，来生成所有被测定者均以优选的状态拍摄的合成图像。

另外，已知有一种通过多次拍摄伴随动作的被摄体，并将取得的图像组合成，来生成仅图像中的规定区域动作、且其他区域静止的动态图像的被称为动照片(Cinema graph)的技术(例如参照专利文献2)。

专利文献1：日本特开2001－45355号公报

专利文献2：日本特开2012－199613号公报

然而，在被测定者的头部动作的情况下，存在仅头部动作的情况，也存在伴随于此躯体部、胳膊也动作的情况。因此，即使从比较图像统一地抽出特定部分的轮廓线，将该轮廓线所包含的区域适用于基准图像，并且在应用时进行了晕映边缘等处理，仍有可能因适用的区域与周围的图像区域之间的不匹配而导致合成图像不自然。例如，存在适用的区域与其周围产生不连续的问题、脸部与躯体部、胳膊之间的位置关系变得不自然或部位间的方向关系变得不自然这样的问题。即，在现有技术中，当被摄体是伴随动作的物体时，难以生成被摄体的动区域被恰当地合成的所期望的合成图像。

另外，还存在如下问题：因在生成动照片时，难以恰当地合成动区域，在动态图像中被摄体的一部分被以缺失的状态显示，或者动区域中包含超出需要的区域，所以有可能意想的被摄体以外的被摄体被以活动的状态显示。

发明内容

本发明提供一种能够解决上述课题的图像合成装置等。

为了解决上述课题而采用了以下的方案。其中，为了参考而用括号标记在实施后述发明的实施方式的说明及附图中使用的附图标记。该用括号标记的内容只是用于实现本发明的结构的一个例子，用于实现本发明的结构并不限定于此。

第一发明涉及一种图像合成装置，其特征在于，具备：

动区域检测单元(控制部101)，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域(基于差分图像检测动区域，基于在标准化后的图像中邻接的块之间的图像特征量之差来检测动区域块)；

合成区域设定单元(控制部101)，根据动区域的检测结果来设定上述比较图像中的合成区域(生成与抽出的轮廓相对应的图像合成用掩模，生成与动区域块之和相对应的图像合成掩模或按每一个比较图像生成图像合成掩模)；以及

合成图像生成单元(控制部101)，通过将所设定的合成区域合成至上述基准图像来生成合成图像(使用图像合成用掩模来执行基准图像与比较图像的合成处理)。

据此，对于根据被摄体的动区域而设定的合成区域，能够得到比较图像中的合成区域被合成至基准图像后的所期望的合成图像。

另外，第二发明基于第一发明的图像合成装置而提出，其特征在于，上述动区域检测单元抽出上述基准图像与上述比较图像的差分图像中的轮廓(包括被摄体的动区域的轮廓)，

上述合成区域设定单元基于在上述差分图像中抽出的轮廓来设定上述合成区域(基于包括被摄体的动区域的轮廓来生成图像合成用掩模)。

据此，通过基于在基准图像与比较图像的差分图像中抽出的轮廓来设定合成区域，能够得到轮廓被恰当合成的所期望的合成图像。

另外，第三发明基于第二发明的图像合成装置而提出，其特征在于，