[发明专利]图像处理方法和设备、数字照相机以及记录图像处理程序的记录介质

说明书

技术领域

本发明涉及用于校正拍摄图像的失真的预处理技术，以及更特别地，涉及图像处理方法和设备、具有图像处理方法及设备的功能的数字照相机、以及记录用于从输入图像识别四边形的图像处理程序的记录介质。

此外，本发明涉及图像处理方法和设备、具有图像处理方法及设备的功能的数字照相机、以及记录图像处理程序的记录介质，该图像处理程序用于从拍摄的图像提取例如四边形的形状，并且显示包括加亮的形状区域的图像。

背景技术

近些年并且持续至今，数字照相机变得广泛流行，并且不仅用于拍摄景色或人物，还用来拍摄列车时刻表、海报、公告牌等等来取代记笔记。然而，根据拍摄照片的位置拍摄的列车时刻表和海报可能失真。这样失真的海报很难被阅读，因此，拍摄的图像不是优选的。

即使实际的物体是矩形，根据拍摄的位置拍摄的图像变得失真了，得到了例如梯形。当通过数字照相机拍摄例如列车时刻表或海报的平面物体时，需要校正这样的失真，使得校正后的图像看起来好像是从物体的正面拍摄的。

提出了用于校正由数字照相机拍摄的失真图像的方法。例如，在专利文件1、2、3中披露了典型方法。在传统技术中，从拍摄的图像中提取矩形等，并且执行投影变换使得矩形看起来是平面的。首先，从拍摄的图像中生成缩小的图像，从缩小的图像提取边缘区域，并对边缘区域执行失真校正。然后，对经历了失真校正的边缘区域执行Hough变换或者Radon变换来检测直线。从直线的组合中识别拍摄图像的四边形形状。从四边形计算投影变换矩阵，并且对拍摄图像执行投影变换，由此校正失真。在另一个例子中，提取多个矩形，并将这些矩形重叠在图像上。该图像显示给使用者使得使用者可以选择矩形。基于选择的矩形执行投影变换。

专利文件1：日本公开专利申请第2005-122320号

专利文件2：日本公开专利申请第2005-122328号

专利文件3：日本公开专利申请第2000-341501号

然而，在上述传统技术中，离图像中心最远的直线优选识别为四边形的边。因此，当物体没有放置在图像的中间时，也就是，当要被识别的四个边没有位于图像中心的四个方向时，则不能识别物体。此外，由于执行Hough变换等来检测直线，这一处理耗时严重。Hough变换的表决算法特别需要大量的时间。在专利文件2中披露的技术通过限制X轴方向的候选直线的倾斜为45°≤θ≤135°，以及Y轴方向的候选直线的倾斜为135°≤θ≤225°来试图提高处理速度；然而，其并不能充分地提高速度。此外，如果基于N(整数)个检测的直线的倾斜来确定四边形的垂直边和水平边，则拍摄物体的条件是受限的。具体地，可以识别图17A所示的四边形，但是不能识别图17B所示的通过倾斜照相机拍摄的四边形，即使这两个四边形是相同的物体。

因此，在失真校正的预处理中需要图像处理方法和设备、具有数字照相机功能的数字照相机、以及记录图像处理程序的记录介质，其可以相比传统技术以更高的精度在更短的时间内从输入图像识别一个或多个四边形。

在另一个例子中，提取多个矩形，并且将提取的矩形重叠在图像上。该图像显示给使用者，使得使用者可以选择矩形。基于选择的矩形执行投影变换。

为使用者显示多个提取的矩形，并且基于使用者选择的矩形执行失真校正是可行的。这是因为为了从拍摄的图像确定期望的物体必须知道使用者的意图。例如，即使不同的使用者拍摄了相同的图像，期望的物体也可以是根据使用者而不同的。

然而，多个提取的矩形通常相互重叠，并且一次显示在图像上。因此，区分矩形是困难的。使用者需要看相同的矩形很多次来确定选择是否正确。

此外，照相机不可能知道使用者的意图，因此，使用者期望的矩形可能不总包括在自动提取的矩形中。然而，传统的技术仅允许使用者在提取的矩形中进行选择。如果没有包括期望的矩形，使用者承受再次拍摄物体的麻烦。此外，如果从移动的车辆中拍摄物体，并且在提取的矩形中不包括期望的矩形，使用者可能不能再次拍摄物体。

因此，在例如数字照相机的失真校正的预处理中需要图像处理方法和设备、具有图像处理方法和设备的功能的数字照相机、以及记录图像处理程序的记录介质，借此，使用者可以马上区分多个矩形，并且容易地选择最优的矩形，其中显示重叠在图像上的多个提取的矩形来允许使用者选择期望的矩形。

此外，需要图像处理方法和设备、具有图像处理方法和设备的功能的数字照相机、以及记录图像处理程序的记录介质，其能够在没有提取到期望的例如矩形的形状时，校正显示的形状。

发明内容