[发明专利]交通文本识别方法、装置、设备及存储介质

权利要求书

1.一种交通文本识别方法，其特征在于，包括：

利用主干网络模型对待识别图像进行特征运算获得特征图；其中，所述主干网络模型为预先经过学习训练并由FPN网络和ResNet50网络共同构建的模型；

对所述待识别图像进行SIFT特征算法运算，获得特征描述向量；

对所述特征图进行交通文本所在区域的检测识别，获得对交通文本所在位置区域进行标记的精细特征图；

将所述精细特征图和所述特征描述向量进行特征融合，获得融合特征；

对所述融合特征进行交通文本所在区域检测识别，确定所述待识别图像中交通文本所在位置区域，以便对所述位置区域内的交通文本进行语义识别。

2.如权利要求1所述的交通文本识别方法，其特征在于，对所述特征图进行交通文本所在区域的检测识别，获得对交通文本所在位置区域进行标记的精细特征图，包括：

对所述特征图进行非文本特征剔除获得文本特征；

对所述特征图进行文本框粗检测，获得所述特征图中文本所在区域的粗检测框；

将所述粗检测框和所述特征图共同进行可形变卷积运算，获得检测框；

将所述文本特征和所述检测框共同进行精细检测运算，获得精细特征图。

3.如权利要求2所述的交通文本识别方法，其特征在于，对所述特征图进行非文本特征剔除获得文本特征，包括：

将所述特征图通过文本分类头中的第一1×1卷积层、尺度归一层、第一激活层、第二1×1卷积层、第二激活层依次运算，生成文本分类得分图；

将所述文本分类得分图中分数小于预设阈值的特征作为非文本特征剔除，获得分数不小于所述预设阈值的特征作为文本特征。

4.如权利要求2所述的交通文本识别方法，其特征在于，对所述特征图进行文本框粗检测，获得所述特征图中文本所在区域的粗检测框，包括：

将所述特征图通过粗检测模型中的3×3卷积层、尺度归一层、激活层以及1×1卷积层依次进行粗检测运算，获得粗检测框；

将所述文本特征和所述检测框共同进行精细检测运算，获得精细特征图，包括：

将所述文本特征和所述检测框共同通过精细检测模型中的3×3卷积层、尺度归一层、激活层以及1×1卷积层依次进行精细检测运算，获得精细特征图。

5.如权利要求1所述的交通文本识别方法，其特征在于，对所述融合特征进行交通文本所在区域检测识别，确定所述待识别图像中交通文本所在位置区域，包括：

对所述融合特征进行交通文本所在区域检测识别，获得多个文本检测框；

将任意两个重叠度大于预设重叠度的文本检测框中置信度分数小的文本检测框剔除；其中，所述置信度分数为所述文件检测框中的文本是交通文本的概率；

以剔除后的各个所述文本检测框所在区域作为所述待识别图像中交通文本所在位置区域。

6.如权利要求1所述的交通文本识别方法，其特征在于，所述主干网络模型的构建过程，包括：

基于FPN网络和ResNet50网络构建卷积神经网络；

利用所述卷积神经网络对样本图像进行特征提取，获得样本特征；

将所述样本特征分别通过1×1卷积层和RBOX包围框，获得所述样本图像的预测文本位置和预测文本得分；

利用骰损失函数将所述预测文本位置和所述预测文本得分与所述样本图像的真实文本位置和真实文本得分进行误差损失运算，并根据运算结果对所述卷积神经网络进行优化，获得所述主干网络模型。