[发明专利]一种基于移动设备的文本检测和识别方法与系统

说明书

本申请公开了一种基于移动设备的文本检测和识别方法与系统，包括：预处理RGB图像，得到第一图像；计算第一图像中的多组坐标；提取与各组坐标对应的各第二图像；使用MobileNet卷积网络提取第二图像的图像特征；使用特征映射函数将所述图像特征转换成特征序列；使用DropConnect对所述特征序列进行正则化处理后，使用双向长短时记忆单元提取特征序列的文本预测值；使用softmax函数处理文本预测值，得到文本概率分布数据；使用argmax函数从所述文本概率分布数据中提取文本内容后输出。通过预处理RGB图像，能够有效减少在各种场景下，由于复杂环境而产生的文本背景干扰，更有利于真实应用场景下的文本识别；使用MobileNet能够在移动平台上实现快速的文本检测和识别，且功耗低。

技术领域

本申请应用于移动互联网行业，尤其涉及一种基于移动设备的文本检测和识别方法与系统。

背景技术

现有类似的技术方案一般只提及了文本识别和相关算法，无法减少文本在复杂场景下的干扰，然而场景干扰在各种场景中是比较常见的问题。在复杂的自然场景下进行文本识别通常会随着环境因素的影响而导致识别准确率降低，例如灯光的照射角度，画面曝光度以及图片背景颜色和文本字体对文本识别的影响。并且无法对复杂场景中的文本进行更精确的文本识别，以避免识别非文本对象。与此同时，目前现有的诸多神经网络文本识别处理技术再处理时长，功耗高，无满足在移动端的更快速以及低功耗的运行要求。

综上所述，需要提供一种能够在复杂场景下识别文本的准确率高，且在移动端上运行速度快，功耗低的方法与系统。

发明内容

为解决以上问题，本申请提出了一种基于移动设备的文本检测和识别方法与系统。

一方面，本申请提出一种基于移动设备的文本检测和识别方法，包括：

预处理RGB图像，得到第一图像；

计算第一图像中的多组坐标；

提取与各组坐标对应的各第二图像；

使用MobileNet卷积网络提取第二图像的图像特征；

使用特征映射函数将所述图像特征转换成特征序列；

使用DropConnect对所述特征序列进行处理后，使用长短时记忆单元提取特征序列的文本预测值；

使用softmax函数处理文本预测值，得到文本概率分布数据；

使用argmax函数从所述文本概率分布数据中提取文本内容后输出。

优选地，在所述使用长短时记忆单元提取特征序列的文本预测值之后，还包括：

使用CTC损失函数计算文本预测值和与其对应的标签文本之间的识别损失；

若识别损失小于等于识别损失阈值，则得到训练好的文本识别模型；

若识别损失大于识别损失阈值，根据识别损失自动调整文本识别模型中的权重参数，继续使用训练集中的图像训练文本识别模型，得到新的识别损失，若新的识别损失小于等于识别损失阈值，则得到训练好的文本识别模型，若新的识别损失大于上一步得到的识别损失，且新的识别损失无法下降，则输出识别损失最小的文本识别模型。

优选地，在所述计算第一图像中的多组坐标之后，还包括：

计算所述多组坐标和与其对应的标签坐标之间的坐标损失；

若坐标损失小于等于检测损失阈值，则得到训练好的文本检测模型；