[发明专利]图像合成装置

说明书

技术领域

本发明涉及根据通过安装于车辆的周围的摄像机拍摄的图像，生成车辆的周围中的任意的视点的俯瞰图像并显示该俯瞰图像的图像合成装置。

背景技术

例如，在以下的专利文献1公开的图像合成装置中，输入表示通过安装于车辆的周围的多个摄像机拍摄的图像的图像数据，并将该图像数据保存到输入用帧缓冲器。

然后，在该图像合成装置中，参照表示从任意的视点观察了时的俯瞰图像中的像素、与通过摄像机拍摄的图像中的像素的对应关系的映射数据，根据输入用帧缓冲器中保存的多个图像数据生成俯瞰图像。

但是，虽然在该图像合成装置根据输入用帧缓冲器中保存的多个图像数据生成俯瞰图像时，仅使用通过摄像机拍摄的图像内的一部分的区域的图像数据，而不使用该区域以外的图像数据，但将表示通过摄像机拍摄的图像的所有图像数据保存到输入用帧缓冲器。

因此，在该图像合成装置中，需要安装存储器容量大的输入用帧缓冲器。

在以下的专利文献2公开的图像合成装置中，为了仅将俯瞰图像的生成中使用的图像数据保存到输入用帧缓冲器来使得能够削减该输入用帧缓冲器的存储器容量，安装能够变更输出区域的特殊的摄像机，并根据俯瞰图像的视点，控制摄像机的输出区域(控制通过摄像机拍摄的图像的范围)。

专利文献1：WO00/064175(第5页)

专利文献2：日本特开2006-287826号公报(段落编号[0020])

发明内容

以往的图像合成装置如以上那样构成，所以如果安装能够变更输出区域的特殊的摄像机，并根据俯瞰图像的视点控制摄像机的输出区域，则仅将俯瞰图像的生成中使用的图像数据保存到输入用帧缓冲器，而能够削减该输入用帧缓冲器的存储器容量。但是，在由于设备费用、摄像机规格等的关系而无法安装能够变更输出区域的特殊的摄像机的情况下，存在如果不安装存储器容量大的输入用帧缓冲器，则无法生成从任意的视点观察了时的俯瞰图像(如果容许俯瞰图像的画质降低、帧频降低，则即使是存储器容量小的输入用帧缓冲器也能够生成俯瞰图像)的课题。

本发明是为了解决上述那样的课题而完成的，其目的在于得到一种无需安装存储器容量大的输入用帧缓冲器，而能够生成高画质/高帧频的俯瞰图像的图像合成装置。

本发明提供一种图像合成装置，设置有：区域确定单元，从安装位置不同的多个摄像机中，选择从任意的视点观察了时的俯瞰图像的生成中使用的摄像机，在通过该摄像机拍摄的图像中，确定与该俯瞰图像对应的区域；以及图像数据输入单元，输入表示通过该摄像机拍摄的图像的图像数据中的、由区域确定单元确定的区域内的图像数据，将该图像数据保存到帧缓冲器，俯瞰图像生成单元根据帧缓冲器中保存的图像数据生成俯瞰图像。

根据本发明，设置有：区域确定单元，从安装位置不同的多个摄像机中，选择从任意的视点观察了时的俯瞰图像的生成中使用的摄像机，在通过该摄像机拍摄的图像中，确定与该俯瞰图像对应的区域；以及图像数据输入单元，输入表示通过该摄像机拍摄的图像的图像数据中的、由区域确定单元确定的区域内的图像数据，将该图像数据保存到帧缓冲器，俯瞰图像生成单元根据帧缓冲器中保存的图像数据生成俯瞰图像，所以具有无需安装存储器容量大的帧缓冲器，而能够生成高画质/高帧频的俯瞰图像的效果。

附图说明

图1是示出本发明的实施方式1的图像合成装置的结构图。

图2是示出本发明的实施方式1的图像合成装置的处理内容的流程图。

图3是示出视点以及再配置表的一个例子的说明图。

图4是示出区域确定部3中的与俯瞰图像对应的摄影图像内的区域的确定处理的流程图。

图5是示出与当前设定的俯瞰图像对应的区域的更新处理的流程图。

图6是示出通过车载摄像机1a～1d拍摄的图像的区域的说明图。

图7是示出本发明的实施方式2的图像合成装置的结构图。

具体实施方式

以下，为了更详细地说明本发明，根据附图，说明具体实施方式。

实施方式1.

图1是示出本发明的实施方式1的图像合成装置的结构图。

在图1中，车载摄像机1a安装于车辆(车辆除了汽车以外，还包括电车、船舶、飞机、汽车等)的前侧，对车辆前方进行摄影，而将表示车辆前方的图像的图像数据输出到输入影像信号控制部4。

车载摄像机1b安装于车辆的后侧，对车辆后方进行摄影，而将表示车辆后方的图像的图像数据输出到输入影像信号控制部4。