[发明专利]一种基于车载视频的交通场景文字识别系统及识别方法

权利要求书

1.一种基于视频的交通场景文字识别系统，用于自动检测和识别车载视频中交通标志和广告文字，其特征在于：包括视频采集模块、图像预处理模块、MSER检测模块、候选区域筛选模块、级联分类器得到文字区域模块、文字分割模块、CNN文字识别模块；

所述视频采集模块采集视频并将该视频信息发送给图像预处理模块；

所述图像预处理模块将单帧图像转化成灰度图像并进行对比度增强预处理，搜索预处理后图像的最稳定极值区域作为文字候选区，并将文字候选区发送给MSER检测模块；

所述MSER检测模块对候选区域进行筛选，得到符合先验知识的文字候选区，并将符合先验只是的文字候选区发送给候选区域筛选模块；

所述候选区域筛选对符合先验知识的文字候选区域做笔画宽度变换，设定笔画宽度均值方差阈值，得到符合笔画宽度特征的文字候选区域，并将符合笔画宽度特征的文字候选区域发送给级联分类器得到文字区域模块；

所述级联分类器得到文字区域模块对符合笔画宽度特征的文字候选区域进行分类，并去除重合区域得到最终文字区域，并将最终文字区域发送给文字分割模块；

所述文字分割模块对文字区域进行二值化，将文字区域分割为单个字，并将单个字发送给CNN文字识别模块；

所述CNN文字识别模块逐个对文字进行识别，得到单帧图像识别结果。

2.一种基于视频的交通场景文字识别系统的识别方法，其特征在于：包括以下步骤：

1)图像预处理

将单帧图像转化成灰度图像并使用Retinex算法进行对比度增强预处理，搜索预处理后图像的最稳定极值区域作为文字候选区；

2)MSER检测

利用几何形状等先验知识对候选区域进行筛选，得到符合先验知识的文字候选区；

3)候选区域筛选

对符合先验知识的文字候选区域做笔画宽度变换，设定笔画宽度均值方差阈值，得到符合笔画宽度特征的文字候选区域；

4)级联分类器得到文字区域

用一个级联文字非文字二分类器对符合笔画宽度特征的文字候选区域进行分类，并使用非极大值抑制法去除重合区域得到最终文字区域；

5)文字分割

对文字区域进行二值化，结合连通域法和投影法将文字区域分割为单个字；

6)CNN文字识别

训练CNN文字分类器，逐个文字进行识别，得到单帧图像识别结果；

7)下一帧图像感兴趣区域为上一帧图像文字区域使用灰度直方图匹配，进行跟踪检测，重复步骤二至步骤七识别当前帧文字。

3.根据权利要求2所述的基于视频的交通场景文字识别方法，其特征在于：所述步骤1)中，首先读取车载视频中的关键帧，并将图像转换成灰度图；然后使用Retinex算法进行对比度增强处理；之后搜索预处理后图像的最稳定极值区域作为文字候选区；

Retinex算法提升对比度步骤如下；将原始图像S(x,y)看成是光照图像L(x,y)和反射率图像R(x,y)的乘积，即S(x,y)＝R(x,y)×L(x,y)；将图像变换到对数域；

s(x,y)＝logS(x,y),

l(x,y)＝logL(x,y),

r(x,y)＝logR(x,y),

s＝r+l；

Retinex理论假设图像的噪声来源于图像各个位置反射率不同，因此去除反射图像的噪声便可还原图像，反射分量噪声可通过归一化去除，r'(x,y)为归一化后的反射分量,r(x,y)为反射分量，max(r(x,y))为反射分量中的最大值，

将去噪后的反射分量求指数反变换到实数域即得到增强后的图像；

最稳定极值区域的提取方法如下；对一幅灰度图像取阈值进行二值化处理，阈值从0到255依次递增，在得到的所有二值图像中，图像中的变化很小，甚至没有变化的一些连通区域被称为最大稳定极值区域，连通区域变化的数学定义为：

q(i)＝|Q_i+Δ-Q_i-Δ|/|Q_i|。