[发明专利]一种交通标志牌的信息匹配方法及相关装置

权利要求书

1.一种交通标志牌的信息匹配方法，其特征在于，所述方法包括：

获取采集得到的目标图像，所述目标图像中包括文本信息和交通标志牌；

通过信息匹配模型，对所述目标图像进行处理得到所述目标图像中文本信息与交通标志牌之间的匹配结果，所述信息匹配模型为端到端的神经网络，所述神经网络以目标图像作为输入，以文本信息与交通标志牌之间的匹配结果作为输出。

2.根据权利要求1所述的方法，其特征在于，所述信息匹配模型包括特征提取网络、检测网络和关系匹配网络；

其中，所述特征提取网络是以目标图像为输入，以图像语义特征为输出的第一神经网络；

所述检测网络是以所述特征提取网络的输出为输入，以文本检测结果和交通标志牌检测结果为输出的第二神经网络，所述文本检测结果中包括指示文本信息在所述目标图像中位置的文本位置信息，所述交通标志牌检测结果中包括指示交通标志牌在所述目标图像中位置的标志牌位置信息；

所述关系匹配网络是以所述检测网络的输出为输入，以所述目标图像中文本信息与交通标志牌之间的匹配结果为输出的第三神经网络。

3.根据权利要求2所述的方法，其特征在于，所述通过信息匹配模型，对所述目标图像进行处理得到所述目标图像中文本信息与交通标志牌之间的匹配结果，包括：

通过所述特征提取网络对所述目标图像进行特征提取得到图像语义特征；

根据所述图像语义特征，通过所述检测网络确定文本检测结果和交通标志牌检测结果；

根据所述文本检测结果中的所述文本位置信息和所述交通标志牌检测结果中的所述标志牌位置信息，通过所述关系匹配网络确定所述目标图像中所述文本信息与所述交通标志牌之间的匹配结果。

4.根据权利要求3所述的方法，其特征在于，所述根据所述文本检测结果中的所述文本位置信息和所述交通标志牌检测结果中的所述标志牌位置信息，通过所述关系匹配网络确定所述目标图像中所述文本信息与所述交通标志牌之间的匹配结果，包括：

确定所述标志牌位置信息对应的标志牌位置编码和所述文本位置信息对应的文本位置编码；

将所述标志牌位置编码、所述文本位置编码和所述图像语义特征进行融合，得到融合特征；

根据所述融合特征确定所述目标图像中所述文本信息与所述交通标志牌之间的匹配结果。

5.根据权利要求4所述的方法，其特征在于，所述将所述标志牌位置编码、所述文本位置编码和所述图像语义特征进行融合，得到融合特征，包括：

根据所述标志牌位置信息和所述文本位置信息确定感兴趣区域；

从所述图像语义特征中裁剪得到所述感兴趣区域对应的感兴趣语义特征；

将所述感兴趣语义特征与对应的所述标志牌位置编码或所述文本位置编码进行融合，得到所述融合特征。

6.根据权利要求3所述的方法，其特征在于，所述检测网络包括文本信息检测分支和交通标志牌检测分支；

其中，所述文本信息检测分支是以所述特征提取网络的输出为输入，以所述文本检测结果为输出的第四神经网络；

所述交通标志牌检测分支是以所述特征提取网络的输出为输入，以所述交通标志牌检测结果为输出的第五神经网络。

7.根据权利要求6所述的方法，其特征在于，所述根据所述图像语义特征，通过所述检测网络确定文本检测结果和交通标志牌检测结果，包括：

通过所述文本信息检测分支对所述图像语义特征进行特征变换得到第一语义特征，所述第一语义特征中所述文本信息的特征的显著性高于所述图像语义特征中所述文本信息的特征的显著性；

根据所述第一语义特征，通过所述文本信息检测分支得到所述文本检测结果；

通过所述交通标志牌检测分支对所述图像语义特征进行特征变换得到第二语义特征，所述第二语义特征中所述交通标志牌的特征的显著性高于所述图像语义特征中所述交通标志牌的特征的显著性；

根据所述第二语义特征，通过所述交通标志牌检测分支得到所述交通标志牌检测结果。