[发明专利]基于连通域的自然场景文字检测方法

说明书

技术领域

本发明属于计算机视觉技术领域，具体涉及自然场景图像文字检测方法，可用于自动提取图像中的文字。

背景技术

随着移动互联网的飞速发展及智能手机等移动电子设备的普及，自然场景图像的获取和传输变得越来越便捷。自然场景图像中的文字包含了丰富的信息，人们期待计算机能代替人类自动地检测并提取图像的文字信息，并将这项技术走向产业化发展，投向日常的生产和生活中，如将文字识别技术应用于无人驾驶汽车、盲人导航、工业自动化、互联网信息挖掘、电商打假、品牌曝光率调研等领域。

与传统的光学字符识别不同，自然场景中的文字信息提取难点在于待检测和识别的文字处于复杂的自然场景中，如真实的街道和商场场景等，因此图像具有复杂性和多变性的特点，且存在噪声、模糊以及角度倾斜、文字字体多变等问题。近年来，面向自然场景的文字识别研究虽然取得了一定的成果，但是与实际应用要求还存在较大的差距。因此，面向自然场景的文字识别方法的研究不仅具有重要的理论研究意义，而且具有广阔的应用前景。

自然场景文字识别主要包含了两个子问题：文字检测和字符识别。其中最受关注的是文字检测问题。文字检测是指对图像中是否存在文字信息进行确认，若存在文字信息则需要对文字进行定位及分割。因此，如何准确的提取出文字区域对自然场景文字识别有重要的意义。

目前，在提取文字区域方法中，最常用的是最大极值稳定区域算子MSER。MSER是一种经典的连通区域检测算子。MSER算子具有非常强的鲁棒性，可以检测到低质量的文字，例如低对比度、低分辨率和模糊退化。同时因为在自然场景中有很多类似文字的场景元素的存在，如门窗、栏杆、树叶网孔、灯柱等，而且这些非文字元素在形状和颜色上与文字非常的相似，所以检测到了许多不是文字的MSER连通区域，导致文字检测的准确率下降。这是基于最大极值稳定区域进行文字定位的最主要挑战之一。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于连通域的自然场景图像文字检测的方法，以保证检测速度，提高文字检测的准确率。

本发明的思路是：直接对自然场景图像进行灰度变换，利用连通域检测算子MSER提取字符候选区域，根据字符的基本几何特性以及笔画宽度特性来滤掉一些非字符区域，将剩余字符区域合并为文本行后，依次输入到训练好的卷积神经网络CNN字符检测器中进行检测，过滤掉没有字符的区域，得到最终的文字区域。其技术方案包括如下步骤：

1)输入原始图像I，并对其进行灰度变换得到灰度图像I_G；

2)对灰度图像I_G，利用最大稳定极值区域算子MSER提取字符候选区域，得到字符候选区域图像I_m；

3)根据字符区域的基本几何特性过滤掉I_m中一些不含有字符的候选区域，得到初步过滤后的字符候选区域图像I₁；

3a)计算I_m每一个字符候选区域的外接矩形边界框；

3b)计算每个外接矩形边界框的长宽比，将长宽比大于10的字符候选区域去除；

3c)计算剩余字符候选区域的欧拉数，将欧拉数小于-4的字符候选区域去除；

3d)计算与剩余字符候选区域具有相同标准二阶中心矩的椭圆离心率，将离心率大于0.995的候选区域去除；

3e)计算剩余字符候选区域的固靠性程度值，将该值小于0.3的候选区域去除，得到初步过滤后的字符候选区域图像I₁；

4)根据字符笔画宽度特性进一步过滤掉I₁中一些不含有字符的候选区域，得到最终的过滤后字符区域候选图像I₂；

4a)分别计算出I₁中每个字符候选区域的笔画宽度均值和笔画宽度标准偏差；

4b)计算出笔画宽度均值与标准偏差的比值，将比值大于0.5的字符候选区域去掉，得到再次过滤后字符候选区域图像I₂；

5)将I₂中剩余的字符候选区域合并为文本行区域；

5a)将I₂中剩余的字符候选区域用边界框标定；

5b)分别计算每一对相邻的边界框的重叠区域面积值S_r和这两个重叠区域的总面积值S_a，获得这两个面积的比值；

5c)依次将比值为非零的字符候选区域进行连接，合并成文本行区域；