[发明专利]一种基于车载视频的交通场景文字识别系统及识别方法

摘要

本发明提出一种基于车载视频的交通场景文字识别系统及识别方法。该系统先对视频单帧图像进行预处理，搜索图像中的最稳定极值区域作为文字候选区，再用先验知识对候选区进行筛选，得到符合先验知识的候选区。对符合先验知识的候选区作笔画宽度变换，设定笔画宽度均值方差阈值，再过滤一些不符合笔画宽度特征的候选区域，最后用二分类器得到最终文字区域。得到文字区域后，使用投影法和连通域法将整个文字区域分割成单个文字，最后将单个文字送入训练好的CNN文字分类器进行文字识别。为了提高识别效率，下一帧图像感兴趣区域为上一帧图像文字区域使用灰度直方图匹配，进行跟踪检测。该系统对交通场景文字的定位和识别精度高，对不同光照环境有较好的鲁棒性。

主权项

1.一种基于视频的交通场景文字识别系统，用于自动检测和识别车载视频中交通标志和广告文字，其特征在于：包括视频采集模块、图像预处理模块、MSER检测模块、候选区域筛选模块、级联分类器得到文字区域模块、文字分割模块、CNN文字识别模块；所述视频采集模块采集视频并将该视频信息发送给图像预处理模块；所述图像预处理模块将单帧图像转化成灰度图像并进行对比度增强预处理，搜索预处理后图像的最稳定极值区域作为文字候选区，并将文字候选区发送给MSER检测模块；所述MSER检测模块对候选区域进行筛选，得到符合先验知识的文字候选区，并将符合先验只是的文字候选区发送给候选区域筛选模块；所述候选区域筛选对符合先验知识的文字候选区域做笔画宽度变换，设定笔画宽度均值方差阈值，得到符合笔画宽度特征的文字候选区域，并将符合笔画宽度特征的文字候选区域发送给级联分类器得到文字区域模块；所述级联分类器得到文字区域模块对符合笔画宽度特征的文字候选区域进行分类，并去除重合区域得到最终文字区域，并将最终文字区域发送给文字分割模块；所述文字分割模块对文字区域进行二值化，将文字区域分割为单个字，并将单个字发送给CNN文字识别模块；所述CNN文字识别模块逐个对文字进行识别，得到单帧图像识别结果。