[发明专利]一种基于场景分类和超分辨率的场景文字识别方法

摘要

本发明涉及一种基于场景分类和超分辨率的场景文字识别方法，通过构建c‑ssd和sr‑rcnn网络，对其对应的卷积层参数分别初始化，扩张数据集并对c‑ssd网络和sr‑crnn网络进行训练，得到相应的c‑ssd模型和sr‑crnn模型，用评估数据集对训练得到的模型进行评估，若达标则将带手势的图片输入训练好的c‑ssd模型中进行处理，返回手势的坐标位置与场景信息，结合文字特征设计检错器返回最终的场景信息，选择对应的文字识别模型进行文字识别，得到最后的识别结果。本发明以一个独立的网络实现分类和检测，实现了端到端的算法，无需采用多个网络分别完成不同的作业，可以提高对低分辨率文字的识别精度。

主权项

1.一种基于场景分类和超分辨率的场景文字识别方法，其特征在于：所述方法包括以下步骤：步骤1：结合分类网络和ssd的共同点，得到c‑ssd；融合超分辨率和卷积循环神经网络，基于crnn网络增加上采样层，得到sr‑rcnn网络；步骤2：以已知的ssd模型和crnn模型分别初始化c‑ssd网络和sr‑crnn网络的对应卷积层参数；步骤3：以数据增强的方法扩张数据集；用扩张后的数据集对c‑ssd网络和sr‑crnn网络进行训练，得到相应的c‑ssd模型和sr‑crnn模型；步骤4：用评估数据集对训练得到的模型进行评估，若效果未达标，则增加数据集，返回步骤3重新训练评估，否则进行下一步；步骤5：将带手势的图片输入训练好的c‑ssd模型中进行处理，返回手势的坐标位置与场景信息；步骤6：以文字特征设计检错器，对步骤5返回的场景信息进行检查，结合c‑ssd网络输出的置信度和检错器的检查结果，返回最终的场景信息；步骤7：由步骤6的场景信息决定选择将图片直接输入ocr文字识别模型进行文字识别，或是将图片输入TextBoxes++模型进行文字位置检测并进行下一步；步骤8：将TextBoxes++模型检测得到的文字位置结果同步骤5的手势的坐标位置比较，得到需要的文本区域，将所述文本区域输入sr‑rcnn模型，得到最后的识别结果。