[发明专利]图像匹配方法和装置、电子设备、计算机可读存储介质

说明书

本申请涉及一种图像匹配方法和装置、电子设备、计算机可读存储介质，包括：通过注意力机制和目标卷积神经网络模型进行计算得到待匹配图像帧的目标文字特征，然后将待匹配图像帧的全局特征和待匹配图像帧的目标文字特征进行融合，得到待匹配图像帧的融合特征。如此，融合特征能够从两个方面更加全面地体现待匹配图像帧的特征。最后，通过将待匹配图像帧的融合特征与数据库中的相关图像帧的融合特征进行比较，就得到了匹配结果。如此，提高了图像匹配的准确性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像匹配方法和装置、电子设备、计算机可读存储介质。

背景技术

随着城市化发展的不断深化，人们生活的节奏越来越快，网络的高速发展活跃了外卖和快递市场，人们享受着网上购物和送餐给生活带来的便利。快递人员可以参考的地图就在快递人员送货或送餐的过程中发挥着重要的作用。例如，可以通过安装在快递人员车上的摄像头结合其他传感器，获取沿街店铺的信息并对其进行分析，判断店铺是否为新增，从而实时更新地图。然而，通过快递人员车上的摄像头结合其他传感器所获取的沿街店铺的图像质量较差。因此，采用传统的图像匹配方式不能较好的进行图像匹配，不能对地图进行准确地更新，确保地图的准确性，以便快递人员通过该地图能够快捷、准确地进行送货或送餐。因此，亟需提供一种图像匹配方法来改善这种情况。

发明内容

本申请实施例提供一种图像匹配方法、装置、电子设备、计算机可读存储介质，可以提高图像匹配的准确性。

一种图像匹配方法，包括：获取待匹配图像帧，对所述待匹配图像帧处理得到所述待匹配图像帧的全局特征和初始文字特征，将所述全局特征和所述初始文字特征通过注意力机制和目标卷积神经网络模型进行计算得到所述待匹配图像帧的目标文字特征；

将所述待匹配图像帧的全局特征和所述待匹配图像帧的目标文字特征进行融合，得到所述待匹配图像帧的融合特征；

将所述待匹配图像帧的融合特征与数据库中的相关图像帧的融合特征进行匹配，得到所述待匹配图像帧与所述相关图像帧之间的匹配结果，所述相关图像帧是与所述待匹配图像帧相关的图像帧。

在其中一个实施例中，所述目标卷积神经网络模型的生成过程包括：

获取训练集中每个图像帧的全局特征；

获取所述图像帧的初始文字特征；

将所述图像帧的全局特征和所述图像帧的初始文字特征通过注意力机制和预设卷积神经网络模型进行计算得到所述图像帧的目标文字特征；

将所述图像帧的全局特征和所述图像帧的目标文字特征进行融合，得到所述图像帧的融合特征；

将所述训练集中的每个图像帧作为锚样本，根据所述锚样本的融合特征从所述训练集中获取与所述锚样本对应的正样本和负样本；

将所述锚样本、所述正样本和所述负样本输入至损失函数，根据所述损失函数调整预设卷积神经网络模型的参数，得到目标卷积神经网络模型。

在其中一个实施例中，所述获取训练集中每个图像帧的全局特征，包括：

通过深度残差网络ResNet50获取训练集中每个图像帧的全局特征。

在其中一个实施例中，所述获取所述图像帧的初始文字特征，包括：

通过East网络对图像帧进行检测得到文本区域，通过深度神经网络与CTC网络对所述文本区域进行识别得到所述图像帧的初始文字特征。

在其中一个实施例中，所述将所述图像帧的全局特征与所述图像帧的初始文字特征通过注意力机制和预设卷积神经网络模型进行计算出所述图像帧的目标文字特征，包括：

根据所述图像帧的全局特征、所述图像帧的初始文字特征通过双线性函数计算出所述图像帧中每个初始文字特征的权重；