[发明专利]图像处理装置以及图像处理方法

权利要求书

1.一种图像处理装置，其依次输入摄像元件所摄像的图像，并且在每次输入时将其联结起来而生成合成图像，该图像处理装置的特征在于，具备：

输入部，其依次输入所述图像；

选择部，其从已输入图像中选择基准图像，该已输入图像由在对象图像之前由所述输入部输入的1个或多个图像构成，所述对象图像是由所述输入部新输入的作为处理对象的图像；

匹配部，其计算所述基准图像的特征点与所述对象图像的特征点之间的对应关系；

估计部，其设所述基准图像与所述对象图像之间的运动仅为所述摄像元件的旋转运动，采用由所述匹配部算出了所述对应关系的所述特征点的特征点对的位置信息，估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式；

合成部，其根据所述变换式，使所述基准图像与所述对象图像联结起来而生成所述合成图像，以及

引导部，该引导部与用于显示图像的显示部相连，使所述显示部显示引导用户的照相机操作的引导显示，

所述估计部使估计出了所述变换式的所述基准图像与所述对象图像连接，并记录为是已决定相对位置的对，

所述合成部向所述显示部输出所述合成图像，

当存在如下第1图像时，所述引导部使所述显示部显示将摄像位置从当前的摄像位置引导至所述第1图像的图像位置的所述引导显示，所述第1图像是指已决定所述相对位置的对中的、与本次的所述基准图像的跳跃段数是预定值以上而且与本次的所述基准图像不重叠的图像。

2.根据权利要求1所述的图像处理装置，其中，

所述估计部估计仅由以所述摄像元件的位置作为原点的三维坐标系的各轴的旋转分量构成的变换式。

3.根据权利要求1或2所述的图像处理装置，其中，

所述估计部准备包含了采用所述变换式进行变换后的所述特征点对各自的位置信息的差分的目标函数，采用最优化方法按照使所述目标函数成为最小值的方式进行收敛运算，由此估计所述变换式。

4.根据权利要求3所述的图像处理装置，其中，

当存在多个在所述对象图像之前由所述输入部输入的图像时，所述估计部采用在所述对象图像之前刚由所述输入部输入的图像的所述变换式作为收敛运算的初始值。

5.根据权利要求3所述的图像处理装置，其中，

所述估计部将通过所述匹配部算出了所述对应关系的所述特征点对投影到球面上，采用投影后的所述特征点对的位置信息来估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式。

6.根据权利要求1或2所述的图像处理装置，其中，

当存在多个在所述对象图像之前由所述输入部输入的图像、而且在所述对象图像之前由所述输入部输入的图像中的至少1个与所述基准图像以及所述对象图像重叠时，所述估计部采用所述基准图像、与所述基准图像重叠的图像以及所述对象图像各自的特征点的特征点对，相互关联地估计使所述基准图像的坐标系和与所述基准图像重叠的图像的坐标系对应的变换式、以及使所述基准图像的坐标系和所述对象图像的坐标系对应的变换式。

7.根据权利要求1或2所述的图像处理装置，其中，

所述选择部在所述基准图像与所述对象图像的距离是预定值以上的情况下，选择该对象图像作为所述输入部在下次以后新输入的成为处理对象的图像即对象图像的所述基准图像。

8.根据权利要求7所述的图像处理装置，其中，

所述选择部在所述对象图像与之前的所述基准图像的距离小于所述对象图像与所述基准图像的距离时，选择之前的基准图像作为在下次以后新输入的成为处理对象的图像即对象图像的所述基准图像。

9.根据权利要求8所述的图像处理装置，其中，

所述匹配部在所述对象图像与之前的所述基准图像的距离是预定值以下时，进一步计算之前的所述基准图像的特征点与所述对象图像的特征点的对应关系，

所述估计部还采用之前的所述基准图像与所述对象图像的所述特征点对的位置信息，来估计使之前的所述基准图像的坐标系与所述对象图像的坐标系对应的变换式，

采用使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式、使之前的所述基准图像的坐标系与所述对象图像的坐标系对应的变换式，来使所述基准图像与之前的所述基准图像相对应。

10.一种图像处理方法，依次输入摄像元件所摄像的图像，并且在每次输入时将其联结起来而生成合成图像，该图像处理方法具备以下步骤：

输入步骤，依次输入所述图像；

选择步骤，从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过所述输入步骤输入的1个或多个图像构成，所述对象图像是通过所述输入步骤新输入的作为处理对象的图像；

匹配步骤，计算所述基准图像的特征点与所述对象图像的特征点的对应关系；

估计步骤，设所述基准图像与所述对象图像之间的运动仅为所述摄像元件的旋转运动，采用通过所述匹配步骤算出了所述对应关系的所述特征点的特征点对的位置信息，估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式；

合成步骤，根据所述变换式，使所述基准图像与所述对象图像联结起来而生成所述合成图像，以及

引导步骤，使显示部显示引导用户的照相机操作的引导显示，

在所述估计步骤中，使估计出了所述变换式的所述基准图像与所述对象图像连接，并记录为是已决定相对位置的对，

在所述合成步骤中，向所述显示部输出所述合成图像，

在所述引导步骤中，当存在如下第1图像时，使所述显示部显示将摄像位置从当前的摄像位置引导至所述第1图像的图像位置的所述引导显示，所述第1图像是指已决定所述相对位置的对中的、与本次的所述基准图像的跳跃段数是预定值以上而且与本次的所述基准图像不重叠的图像。