[发明专利]一种基于自启发式策略的自然场景文字检测方法及系统

摘要

本发明公开了一种基于自启发式策略的自然场景文字检测方法及系统，建立两层级联滤波机制以判断文字区域与背景区域，考虑到文字区域在灰度自然场景图像中存在暗底浅字或者浅底暗字两种模式，对文字区域对比度类型进行判断以将灰度自然场景图像中的文字区域的对比度统一为暗底浅字模式；将两层级联滤波处理后判断为文字的结果视为种子文字，针对每一个种子文字构建自启发式搜索策略在其邻近区域，采用训练好的深度神经网络以滑动检测窗口的方式检测漏检文字以提高文字检测召回率，最后将相邻文字以单词为单元分割开来。本发明所公开的自然场景文字检测方法及系统对实现自然场景文字语义自动化理解具有很高的实用价值。

主权项

1.一种基于自启发式策略的自然场景文字检测方法，其特征在于，包括以下步骤：步骤1：将待检测的彩色自然场景图像进行灰度转换，得到灰度自然场景图像；步骤2：对灰度自然场景图像分别进行正面、反面二值化处理，获得对应的两幅初始二值图像；步骤3：分别从步骤2获得的两幅初始二值图像中标记出所有的连通组件，并将各连通组件的最小外接矩形所包含的文字区域视为文字初步候选区域，并依据文字先验信息对文字初步候选区域进行初步筛选，得到文字候选区域；步骤4：根据连通组件结构特点，分别在经过步骤3筛选后得到的两幅二值化图像中对具有相同空间坐标位置的图像区域进行融合处理，并得到融合二值图像；步骤5：召回漏检文字区域；步骤5.1：将步骤4处理后的文字视为种子文字；步骤5.2：以种子文字的大小、倾斜度以及相邻文字的间隔距离构建自启发式搜索策略，确定检测窗口位置和大小；步骤5.3：视检测窗口所覆盖的灰度自然场景图像区域为文字候选区域，采用深度神经网络对文字候选区域进行识别，并依据该文字候选区域的分类置信度来确定其类别：1)设置二级分类阈值，包括文字区域分类置信度高阈值与文字区域分类置信度低阈值；2)若文字候选区域的分类置信度低于设定的文字区域分类置信度低阈值，则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；3)若文字候选区域的分类置信度高于设定的文字区域分类置信度高阈值，则该文字候选区域为文字区域，将该文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；4)若文字候选区域的分类置信度高于设定的文字区域分类置信度低阈值且低于设定的文字区域分类置信度高阈值，则该文字候选区域为可疑文字区域；将可疑文字候选区域对应的检测窗口在其邻近区域滑动，得到一组新的检测窗口：若所有新的检测窗口对应文字候选区域的分类置信度的最大值高于设定的文字区域分类置信度高阈值，则将最大分类置信度对应的文字候选区域视为文字区域，同时将具有最大分类置信度的文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；反之则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；步骤5.4：若每个种子文字对应的检测窗口区域均已识别完毕，则完成漏检文字的召回，否则，返回步骤5.3继续识别下一个种子文字对应的检测窗口区域；所述启发式搜索策略确定的检测窗口如下：其中，X_window、Y_window、W_window、H_window分别表示所述检测窗口的左顶点横坐标、纵坐标、检测窗口宽度以及检测窗口高度，X_seed、Y_seed、W_seed、H_seed分别表示种子文字区域的左顶点横坐标、左顶点纵坐标、检测窗口宽度以及检测窗口高度；I_W、I_H分别表示输入图像的宽度与高度，k_Wx、k_Ww、k_Wh分别表示检测窗口左顶点横坐标变化量权值、左顶点纵坐标变化量权值、检测窗口宽度变化量权值以及检测窗口高度变化量权值，θ为角度取样值，k_Wx、k_Ww、k_Wh、θ的取值是通过采用经验取值的方式而获得；步骤6：以步骤4中的融合二值图像的文字区域和经步骤5召回的文字区域作为最终的真实文字，在最终的真实文字中，将符合一定条件的相邻文字形成文字行；步骤7：对经所述步骤6处理后所得到的所述文字行中的相邻文字间距进行统计，若相邻文字之间的间距小于所设置的间距阈值，则表明所述相邻文字同属于一个单词，反之则将所述相邻文字分割开以实现所述文字行中以单词为单元的文字分割；在两幅二值化图像中对具有相同空间坐标位置的图像区域进行文字前景和伪文字前景的判断，步骤如下：步骤4.1：统计所述两幅二值化图像中所有连通组件中大于所设定的笔画宽度阈值的边缘像素数目；步骤4.2：对于每一个连通组件，若经步骤4.1统计得到的符合设定条件边缘像素数目超过设定的像素数目阈值，则判断该连通组件为文字前景，反之则为背景；对每个连通组件中大于所设定的笔画宽度阈值的边缘像素数目的统计过程如下：步骤4.1.1：采用Canny算子对连通组件进行边缘提取，依据所提取的边缘像素依次统计连通组件的平均笔画宽度，并基于平均笔画宽度设置间隔阈值；步骤4.1.2：分别沿着水平方向、垂直方向、45度斜对角方向、145度反斜对角方向在所述两幅二值化图像中设置扫描线，并提取扫描线上的边缘像素；所述扫描线包括3条水平方向扫描线、3条垂直方向扫描线、1条45度斜对角方向扫描线以及1条145度反斜对角方向扫描线；位于3条水平方向扫描线上的像素依次设定为I_E(round(I_{_h}/4),j)、I_E(round(I_{_h}/2),j)、I_E(round(3×I_{_h}/4),j)，j∈[1,I_{_w}]；位于3条垂直方向扫描线上的像素依次设定为I_E(i,round(I_{_w}/4))、I_E(i,round(I_{_w}/2))、I_E(i,round(3×I_{_w}/4))，i∈[1,I_{_h}]；位于45度斜对角方向扫描线上的像素依次设定为I_E(1,I_{_w})、I_E(max(1,round(I_{_h}‑j×(I_{_h}/I_{_w}))),j)、I_E(I_{_h},1)，j∈[1,I_{_w}]；位于145度反斜对角方向扫描线上的像素依次设定为I_E(1,1)、I_E(max(1,round(j×(I_{_h}/I_{_w}))),j)、I_E(I_{_h},I_{_w})，j∈[1,I_{_w}]；其中，I_E表示提取的边缘图像,i、j分别表示边缘图像中像素的横坐标、纵坐标，I_{_h}、I_{_w}分别表示提取的边缘图像的高和宽，round()为取整函数，max()表示为取最大值函数；步骤4.1.3：若同一扫描线上的相邻像素之间的距离大于设定的笔画宽度阈值，即：Dist(I_E(i,j),I_E(m,n))>γ×S_{wt_ave}则将符合设定条件的边缘像素数目加1，否则，对下一对相邻像素进行判断，直到所有扫描线上所有相邻像素全部判断完毕，完成每个连通组件中大于所设定的笔画宽度阈值的边缘像素数目的统计；其中，I_E(i,j)、I_E(m,n)为沿着所述某个方向扫描线上的两相邻的边缘像素，S_{wt_ave}为当前连通组件的平均笔画宽度，Dist()为计算沿着某一条扫描线上的相邻像素之间距离的函数；γ为笔画宽度阈值权重系数，通过经验取值的方式而获得；对步骤4中得到的融合二值图像中的文字候选区域，结合上下文信息，利用训练好的深度神经网络对其进行分类处理，将分类为伪文字区域的文字候选区域予以剔除后，再用于步骤6形成文字行，具体过程如下：步骤A:以文字候选区域为中心设置当前文字候选区域的影响区域A_roi：A_roi＝[max(1,round(i‑H_Seed/λ_h)),max(1,round(j‑λ_h×W_Seed)),......min(I_{mg_w},round(λ_w×W_Seed)),min(I_{mg_h},round(λ_h×H_Seed))]其中，max(1,round(i‑H_Seed/λ_h))、max(1,round(j‑λ_h×W_Seed))分别表示影响区域A_roi在融合二值图像中的左顶点横坐标与左顶点纵坐标；min(I_{mg_w},round(λ_w×W_Seed))、min(I_{mg_h},round(λ_h×H_Seed))分别表示影响区域A_roi的宽度与高度；I_{mg_w}、I_{mg_h}表示融合二值图像的宽度与高度，i、j分别表示文字候选区域在所述二值图像中的左顶点横坐标与左顶点纵坐标，H_Seed、W_Seed分别表示文字候选区域的高度与宽度；λ_h、λ_w均为影响区域权重系数，通过经验取值的方式而获得；步骤B：将所述影响区域中的所有文字候选区域作为待分类目标依次输入已预先训练好的深度神经网络中进行识别，将输出的识别结果视为待分类的文字候选区域的置信度值，记为该文字候选区域的初始分类置信度值；步骤C：设置分类置信度评价函数，利用分类置信度评价函数值作为文字候选区域的最终分类置信度值；所述分类置信度评价函数如下述：其中，C_char(O(k))和C_final(O(k))分别表示文字候选区域O(k)的初始分类置信度值和最终分类置信度值；O(k)表示融合二值图像中的第k个文字候选区域，N(i)表示文字候选区域O(k)所对应的影响区域中的第i个相邻文字候选区域，N为文字候选区域O(k)所对应的影响区域中除文字候选区域O(k)以外的文字候选区域总数目；D(N(i)，O(k))、H_char(N(i),O(k))T_char(N(i),O(k))依次表示文字候选区域O(k)与其对应的影响区域中的文字候选区域N(i)之间的上下文置信度权值、高度相似度和颜色相似度；C_α、C_β、C_γ分别为邻近文字候选区域N(i)的置信度权重系数、文字候选区域O(k)与其邻近文字候选区域N(i)之间的高度相似度权重系数以及颜色相似度权重系数，通过对训练样本进行学习而获得；P_H(O(k))、P_S(O(k))、P_I(O(k))分别表示文字候选区域O(k)的色度直方图、色饱和度直方图以及亮度直方图；P_H(N(i))、P_S(N(i))、P_I(N(i))分别表示文字候选区域O(k)所对应的影响区域中的文字候选区域N(i)的色度直方图、色饱和度直方图以及亮度直方图；H(O(k))、H(N(i))分别表示文字候选区域O(k)以及文字候选区域O(k)所对应的影响区域中的文字候选区域N(i)的高度；C_distance(N(i),O(k))表示文字候选区域O(k)与所对应的影响区域中的文字候选区域N(i)之间的中心距离；A_diagonal(O(k))表示文字候选区域O(k)所对应的影响区域的对角线长度，abs()表示取绝对值函数；步骤D：设置分类置信度阈值C_threshod，将融合二值图像中的每一个文字候选区域的最终分类置信度值与设置的分类置信度阈值按以下公式进行判断，并将分别满足下述条件的文字候选区域视为真实文字或者伪文字；其中，分类置信度阈值C_threshod通过对训练样本进行学习而获得。