[发明专利]从图像估计消失点的方法和装置、计算机程序及其存储介质

说明书

技术领域

本发明一般地涉及用于自动透视校正的方法。更具体地说，本发明涉及用于从图像(例如，文档图像)估计消失点的方法和装置、计算机程序及其存储介质。

背景技术

文档扫描广泛地用于捕获文本及将其转换成电子形式以便进一步的处理。随着近年来照相机分辨率的提高，通过数字照相机捕获文本变为一种替代的选择。数字照相机便携并且提供正面、非接触、近乎即时的图像获取，但是由于在宽范围的使用条件下操作而受到图像质量问题的困扰。最严重的问题之一是照相机以任意透视拍摄文档并且给所捕获的图像带来透视失真。透视的存在使读者困惑并且使比如光学字符识别(OCR)、布局分析和压缩的图像分析操作缓慢并且不可靠。

因此，需要自动纠正透视失真的图像以产生文本区域的正视图(upright view)。

尽管几何校正已相当地成熟，比如由R.M.Haralick在“Monocular vision using inverse perspective projection geometry：analytic relations(使用逆透视投影几何的单眼视觉：解析关系)，Proceedings of the IEEE Computer Vision and Pattern RecognitionConference 1989；370-378”中提出的方法，但是在该文献中未提及针对通过数字照相机捕获的透视失真文档图像的校正技术。在由P.Clark和M.Mirmehdi公开的“Recognizing text in real scenes(真实场景中识别文本)，International Journal of Document Analysis and Recognition4(4)(2002)243-257”中，利用由背景和文本所在平面之间的边界形成的四边形取得透视失真文本的正视图。在使用感知分组方法提取四边形之后，执行双线性插值操作构造修正的文档图像。由于该算法严重依赖四边形的提取，所以所捕获的文档图像中存在高对比度文档边界(HDB)是正确校正的必要条件。

取代使用在真实场景中不是总存在的文档边界，M.Pilu基于虚线索的提取在“Extraction of illusory linear clues in perspectivelyskewed documents(在透视地倾斜文档中提取虚线性线索)，Proceedings of the IEEE Computer Vision and Pattern RecognitionConference 2001；363-368”中提出一种新的校正方法。为了提取水平线索，首先将字符或字符组变换为模糊点并且为相邻的模糊点对计算成对突出尺寸，其指示它们属于一条文本线的可能性。其后，基于知觉组织原则的网络横跨该文本，并且计算水平线索作为模糊点的突出线性组。尽管在水平线索的提取方面做得很好，但该方法不能提取足够的垂直信息。

在由C.R.Dance提出的“Perspective estimation for documentimages(文档图像的透视估计)，Proceeding of the SPIE Conference onDocument Recognition and Retrieval IX 2002；244-254”中，使用基于从文本线提取的平行线和垂直段落空白(VPM)估计的两个主要消失点矫正失真的文档图像。此方法的主要缺点是它仅工作于完全对齐的文本，因为它严重依赖于VPM特征的存在。另外，也未阐明提取平行线的方法。

在由P.Clark和M.Mirmehdi公开的“Rectifying perspectiveviews of text in 3D scenes using vanishing points(使用消失点在3D场景中校正文本的透视图)，Pattern Recognition 36(2003)2673-2686”中，根据一些段落格式(PF)信息估计两个消失点。更具体地，根据新颖的2D投影柱状图的扩展计算水平消失点，并且当段落未充分对齐时根据一些PF信息比如VPM或文本线间隔变化计算垂直消失点。然而，为实现这种校正方法，需要很好格式化过的段落。

如今，可以校正透视失真文档图像的若干应用已经进入市场，例如，Casio EX-Z55和Wintone Huishi。然而，它们都依赖于HDB提取，并且由于缺少足够的边界信息，结果不可靠。

发明内容

鉴于上述情况，完成本发明并且其目的是自动地纠正透视失真图像以产生文本区域的正视图。