[发明专利]一种面向矿井多源异构图文信息的文本识别方法及装置

说明书

本发明涉及一种面向矿井多源异构图文信息的文本识别方法及装置，属于计算机视觉技术领域，解决了现有的多源异构图文信息的文本识别方法获得的多源异构图文信息精度较差且速度较慢的问题。方法包括：获取包含矿井多源异构图文信息的原始输入图像；基于分割建议网络SPN对原始输入图像进行分割，得到原始输入图像的文本建议区域；对文本建议区域进行特征提取，得到原始输入图像的超分辨率文本建议区域；基于快速卷积神经网络Fast R‑CNN和超分辨率文本建议区域获取原始输入图像的文本检测框；基于循环神经网络RNN提取文本检测框中的字符，得到原始输入图像中的矿井多源异构图文信息。实现了原始输入图像中的矿井多源异构图文信息的识别。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种面向矿井多源异构图文信息的文本识别方法及装置。

背景技术

煤炭是我国国民经济发展的基础，但是井下作业环境复杂，工作人员及设备的监管调配难度大，且安全隐患较多，导致矿难频繁发生，研究井下安全生产的各类图文数据报表、关键设备铭牌及标识符的自动识别与录入，可以对煤矿井下环境中的人、设备的各种参数和作业状态进行实时监测和管理，有利于资源的合理调配与协作，且能更好的消除各种安全隐患，同时对矿难发生时的及时抢救，减少生命财产损失有着重要的意义。但是，当前煤矿井下各类图文数据信息的类型多样，通常包括汉字、英文字母、汉语拼音、数字及符号等多种类型的文本信息，这对实现井下各类生产的图文数据的自动录入带来了极大的挑战。因此，研究面向矿井多源异构图文信息的文本识别方法及装置是保证煤矿安全开采至关重要的环节。

多源异构图文信息的文本识别方法(Multilingual Scene Text Spotting)：是指通过设计一种网络模型，对不同文本构成形式及呈现方式的场景图片中文本进行检测与识别。目前，现有的多源异构图文信息的文本识别方法存在的缺陷包括：第一、目前场景文本检测与识别大多是两阶段分开处理，先通过训练好的检测器对自然场景图片生成文本实例区域，再送入识别模块对实例区域内的文本进行识别两个阶段分开进行，识别速度慢，时间长，工作量大。第二、目前的研究成果主要针对水平或者定向的文本识别，但是现实世界场景中的文本实例可能是水平、定向，也可能是弯曲的。第三、目前的场景文本识别方法主要针对高清质量图片，但是面向矿井的多源异构图文场景文本通常存在图片灰暗模糊、图片质量低的问题。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种面向矿井多源异构图文信息的文本识别方法及装置，用以解决现有的多源异构图文信息的文本识别方法获得的多源异构图文信息精度较差且速度较慢的问题。

一方面，本发明实施例提供了一种面向矿井多源异构图文信息的文本识别方法，包括下述步骤：

获取包含矿井多源异构图文信息的原始输入图像；

基于分割建议网络SPN对所述原始输入图像进行分割，得到原始输入图像的文本建议区域；

对所述文本建议区域进行特征提取，得到原始输入图像的超分辨率文本建议区域；

基于快速卷积神经网络Fast R-CNN和所述超分辨率文本建议区域获取原始输入图像的文本检测框；

基于循环神经网络RNN提取所述文本检测框中的字符，得到原始输入图像中的矿井多源异构图文信息。

进一步，所述分割建议网络SPN包括：

卷积池化层，用于提取所述原始输入图像的特征映射；

连接裁剪层，用于对所述卷积池化层输出的原始输入图像的特征映射进行裁剪，得到多个特征映射；

融合层，用于对所述连接裁剪层输出的多个特征映射进行融合，得到特征映射图；

归一化层，用于对所述融合层输出的特征映射图进行归一化，得到文本建议分割图；