[发明专利]一种基于场景分类和超分辨率的场景文字识别方法

说明书

本发明涉及一种基于场景分类和超分辨率的场景文字识别方法，通过构建c‑ssd和sr‑rcnn网络，对其对应的卷积层参数分别初始化，扩张数据集并对c‑ssd网络和sr‑crnn网络进行训练，得到相应的c‑ssd模型和sr‑crnn模型，用评估数据集对训练得到的模型进行评估，若达标则将带手势的图片输入训练好的c‑ssd模型中进行处理，返回手势的坐标位置与场景信息，结合文字特征设计检错器返回最终的场景信息，选择对应的文字识别模型进行文字识别，得到最后的识别结果。本发明以一个独立的网络实现分类和检测，实现了端到端的算法，无需采用多个网络分别完成不同的作业，可以提高对低分辨率文字的识别精度。

技术领域

本发明属于一般的图像数据处理或产生的技术领域，特别涉及一种帮助弱视群体指示位置并了解前方位置场景中文字的基于场景分类和超分辨率的场景文字识别方法。

背景技术

场景文本是自然场景中最常见的视觉对象之一，经常出现在道路标志、车牌、产品包等上，阅读场景文本有助于许多有用的应用，例如基于图像的地理位置。

近来，社交网络中照片的使用不断增长，照片帖子通常比纯文字帖子产生更多的参与度，有趣的是，通过Web传播的大部分图像嵌入了文本。首先，嵌入在线照片的文本可以伴随有关作者、位置和时间等照片的重要信息，其次，如果图像是从新闻剪辑、电影或电视剧集中捕获的视频帧，则可以将文本用作标题，最后，文本通常可以使照片变得有趣、讽刺、鼓舞人心或热闹，放大照片的信息，进而引起其他用户更高的参与度，正如以上原因，这种嵌入在线照片的文本变得非常普遍。

对于场景文字的识别，在非密集文字的情况下往往需要两个步骤，一是检测，二是识别，而如果是密集文字，则可以直接对其进行识别。在实际应用中往往是密集文字和非密集文字两种场景同时存在，所以需要对其进行区分后再加以处理。

现有技术中，分类和检测的算法是分开的，这表示对于场景文字的识别需要两个算法，无法达到端到端实现；同时，现有的场景文字识别算法将检测和识别切割开来，在检测结束后将检测到的文字区域从原图中扣出送入识别算法进行识别，这导致了当原图分辨率较高时可以获得较好的识别效果，但如果原图存在一个较小的文字区域，那么在识别中往往会发生错误，导致识别失败或出错。

发明内容

本发明解决了现有技术中，分类和检测的算法分开，对于场景文字的识别需要两个算法，无法达到端到端实现，同时现有的识别算法依赖于原图的分辨率，当原图中文字区域的分辨率较低时，在识别中往往会发生错误，导致识别失败或出错的问题，提供了一种优化的基于场景分类和超分辨率的场景文字识别方法。

本发明所采用的技术方案是，一种基于场景分类和超分辨率的场景文字识别方法，所述方法包括以下步骤：

步骤1：结合分类网络和ssd的共同点，得到c-ssd；融合超分辨率和卷积循环神经网络，基于crnn网络增加上采样层，得到sr-crnn网络；

步骤2：以已知的ssd模型和crnn模型分别初始化c-ssd网络和sr-crnn网络的对应卷积层参数；

步骤3：以数据增强的方法扩张数据集；用扩张后的数据集对c-ssd网络和sr-crnn网络进行训练，得到相应的c-ssd模型和sr-crnn模型；

步骤4：用评估数据集对训练得到的模型进行评估，若效果未达标，则增加数据集，返回步骤3重新训练评估，否则进行下一步；

步骤5：将带手势的图片输入训练好的c-ssd模型中进行处理，返回手势的坐标位置与场景信息；