[发明专利]图像合成编码方法、图像合成编码装置、摄像系统

说明书

技术领域

本发明涉及图像合成编码方法及其装置，以及搭载这些技术的摄像系统，特别地，涉及对合成过去图像和当前图像而生成的合成图像进行依次编码的技术。

背景技术

近年来，以MPEG-2为首，MPEG-4或H.264这样的运动图像的高效率编码技术得到大量研究，在计算机、通信、家用AV设备以及广播等各种领域中得到了应用。另外，在以等离子体显示器或液晶电视为首的高精细平板显示器在市场上快速普及的过程中，运动图像的HDTV化也快速发展，运动图像编码中处理的数据量也变得巨大，特别是，在使用小型电池工作的电影摄影机(movie camera)或数字静物照相机(digital still camera)等家用小型照相机中，大量进行了与能够高速并且小型、省电地处理这些数据的运动图像编码技术有关的研究。

另一方面，在电影摄影机或数字照相机等家用小型照相机中，由于市场更加需求运动图像记录的乐趣，所以有些种类的设备中不仅仅是记录摄像的图像，还实现了在对高尔夫球的摆动或棒球的击球摆动等进行摄影时，依次合成过去图像和当前图像以残留运动物体的轨迹，同时进行运动图像记录的差异化功能。

对于如上所述合成过去图像和当前图像，对生成的合成图像依次进行运动图像编码，据此进行运动图像记录的一般方法，在下面进行说明。

图13是简单地表示合成过去图像和当前图像，对生成的合成图像依次进行运动图像编码的一般的合成图像编码装置的图。该合成图像编码装置101具备输入端子2，存储部3，设定端子4，图像合成部5，编码部6和输出端子7。

当前图像依次输入输入端子2中。存储部3包括帧存储器31、合成图像存储器32和参考图像存储器33。帧存储器31暂时存储图像合成时需要的当前图像。合成图像存储器32暂时存储过去图像和合成图像。参考图像存储器33暂时存储参考图像。设定端子4设定当前图像与过去图像的合成比例α。此处合成比例α是合成图像中当前图像的权重比例，0≤α≤1。图像合成部5使用利用设定端子4设定的合成比例α合成当前图像8和过去图像9，依次生成合成图像10，输出到合成图像存储器32。编码部6输入从合成图像存储器32中以适于进行运动图像编码的形式(例如，由16×16像素构成的宏块(macro block)单位)依次读出的图像数据11并进行编码，输出流(压缩数据)。输出端子7输出编码部6中编码了的流(压缩数据)。

另外，如图14所示，图像合成部5包括合成比例设定部51，乘法器52、53和加法器54。合成比例设定部51将利用设定端子4设定的合成比例α输出到乘法器52，将合成比例(1-α)输出到乘法器53。此外，合成比例(1-α)是合成图像中过去图像的权重比例。乘法器52对合成比例α和当前图像8的值进行乘法运算。乘法器53对合成比例(1-α)和过去图像9的值进行乘法运算。加法器54进行乘法器52的乘法运算结果和乘法器53的乘法运算结果的加法运算，生成合成图像10。即，合成比例α的值越大，则合成图像10中当前图像8的影响度越大，越小则合成图像10中过去图像9的影响度越大。

接着，对于在图15所示的图像依次输入的情况下，使用合成图像编码装置101合成当前图像和过去图像，依次对合成图像进行编码的方法，参考图16的流程图进行说明。

首先，从设定端子4设定图像合成部5中的合成比例α，在合成图像存储器32的整个区域中写入值0，初始化合成图像存储器32(ST1001)。

<第一帧(时刻T1)的处理>

接着，图15(a)左边所示的当前图像(输入图像)在时刻T1时从输入端子2输入，暂时存储到帧存储器31中(ST1002)。

接着，帧存储器31中暂时存储的当前图像8被依次读出(ST1003)。与此并行地，合成图像存储器32中存储的过去图像(在该时刻时，由于刚刚进行了初始化，所以所有图像数据为值0)中与当前图像8在二维空间上位于相同区域的图像数据9被依次读出(ST1004)。并且在图像合成部5中依次合成图像8、9(ST1005)，合成图像10依次写入合成图像存储器32上的相同区域中，图像存储器32中暂时存储合成图像10(图15(a)右边所示的图像)(ST1006)。

接着，合成图像存储器32中暂时存储的合成图像11以适于进行运动图像编码的形式(例如，由16×16像素构成的宏块单位)被读出，依次输入编码部6(ST1007)。在编码部6中，对合成图像11依次进行帧内预测编码(I图形编码)，从输出端子7输出流(ST1008)。