[发明专利]一种基于车载视频的交通场景文字识别系统及识别方法

说明书

本发明提出一种基于车载视频的交通场景文字识别系统及识别方法。该系统先对视频单帧图像进行预处理，搜索图像中的最稳定极值区域作为文字候选区，再用先验知识对候选区进行筛选，得到符合先验知识的候选区。对符合先验知识的候选区作笔画宽度变换，设定笔画宽度均值方差阈值，再过滤一些不符合笔画宽度特征的候选区域，最后用二分类器得到最终文字区域。得到文字区域后，使用投影法和连通域法将整个文字区域分割成单个文字，最后将单个文字送入训练好的CNN文字分类器进行文字识别。为了提高识别效率，下一帧图像感兴趣区域为上一帧图像文字区域使用灰度直方图匹配，进行跟踪检测。该系统对交通场景文字的定位和识别精度高，对不同光照环境有较好的鲁棒性。

技术领域

本发明属于模式识别与图像处理领域，涉及一种基于视频的交通场景文字识别系统及识别方法。

背景技术

驾驶辅助系统是智能交通系统的重要组成部分，对于提高驾驶安全性有着重要作用。由行车记录仪拍摄的视频图像中通常含有语义信息，这些信息包含了路径提示、限速标识、避免疲劳驾驶提醒等信息，而这些信息为驾驶员对交通场景的认知起着重要作用。通过对行车记录仪视频中的文字进行自动识别，可以为驾驶员提取警示、提醒和导向标识，进行选择性的自动文字信息播报或存储，以便驾驶员提前做出路径选择，能够节省时间且提高安全性。

交通场景文字识别的挑战主要来自于高度复杂的背景信息，复杂的背景如树叶、路灯和天桥等为文字定位带来了难度。此外，文字分辨率较低、字体形态各异、以及光照条件的变换都为文字识别增加了挑战难度。

近年来，用于自然场景文字文本检测的方法主要两类，一类是基于滑动窗的方法，另一类是基于连通域的方法。基于滑动窗的方法首先在在不同尺度下滑动窗口提取特征，如边缘特征、局部二值特征和直方图特征等，然后用分类器对每个窗口进行文字检测，最后对文字进行分类，这类方法检测效率比较低，对于复杂场景文字识别效果较差。基于连通域方法主要是使用颜色、极值区域等连通域特征提取文字候选区域，再利用一些人为设定的规则或自动分类器对非文字区域进行过滤，该类方法对旋转、尺度变化和字体差异不敏感，为场景文字识别的主流方法。

随着计算机图像处理能力的提高和计算机视觉技术的发展，基于视频的交通场景文字识别得以实现。以行车记录仪作为车载视频传感器，对交通场景文字进行识别，并对识别内容进行记录存储，不仅可以为驾驶员认知交通场景提供有用信息，还为场景信息事后查询提供记录和索引。

发明内容

本发明的目的是为了解决现有技术中对于交通场景文字的定位和识别精度不高，且不同光照环境下的鲁棒性差的缺陷，提供一种基于车载视频的交通场景文字识别系统及识别方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于视频的交通场景文字识别系统，用于自动检测和识别车载视频中交通标志和广告文字，其特征在于：包括视频采集模块、图像预处理模块、MSER检测模块、候选区域筛选模块、级联分类器得到文字区域模块、文字分割模块、CNN文字识别模块；

所述视频采集模块采集视频并将该视频信息发送给图像预处理模块；

所述图像预处理模块将单帧图像转化成灰度图像并进行对比度增强预处理，搜索预处理后图像的最稳定极值区域作为文字候选区，并将文字候选区发送给MSER检测模块；

所述MSER检测模块对候选区域进行筛选，得到符合先验知识的文字候选区，并将符合先验只是的文字候选区发送给候选区域筛选模块；

所述候选区域筛选对符合先验知识的文字候选区域做笔画宽度变换，设定笔画宽度均值方差阈值，得到符合笔画宽度特征的文字候选区域，并将符合笔画宽度特征的文字候选区域发送给级联分类器得到文字区域模块；

所述级联分类器得到文字区域模块对符合笔画宽度特征的文字候选区域进行分类，并去除重合区域得到最终文字区域，并将最终文字区域发送给文字分割模块；