[发明专利]图像匹配方法和装置、电子设备、计算机可读存储介质

权利要求书

1.一种图像匹配方法，其特征在于，包括：

获取待匹配图像帧，对所述待匹配图像帧处理得到所述待匹配图像帧的全局特征和初始文字特征，将所述全局特征和所述初始文字特征通过注意力机制和目标卷积神经网络模型进行计算得到所述待匹配图像帧的目标文字特征；

将所述待匹配图像帧的全局特征和所述待匹配图像帧的目标文字特征进行融合，得到所述待匹配图像帧的融合特征；

将所述待匹配图像帧的融合特征与数据库中的相关图像帧的融合特征进行匹配，得到所述待匹配图像帧与所述相关图像帧之间的匹配结果，所述相关图像帧是与所述待匹配图像帧相关的图像帧。

2.根据权利要求1所述的方法，其特征在于，所述目标卷积神经网络模型的生成过程包括：

获取训练集中每个图像帧的全局特征；

获取所述图像帧的初始文字特征；

将所述图像帧的全局特征和所述图像帧的初始文字特征通过注意力机制和预设卷积神经网络模型进行计算得到所述图像帧的目标文字特征；

将所述图像帧的全局特征和所述图像帧的目标文字特征进行融合，得到所述图像帧的融合特征；

将所述训练集中的每个图像帧作为锚样本，根据所述锚样本的融合特征从所述训练集中获取与所述锚样本对应的正样本和负样本；

将所述锚样本、所述正样本和所述负样本输入至损失函数，根据所述损失函数调整预设卷积神经网络模型的参数，得到目标卷积神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述获取训练集中每个图像帧的全局特征，包括：

通过深度残差网络ResNet50获取训练集中每个图像帧的全局特征。

4.根据权利要求2所述的方法，其特征在于，所述获取所述图像帧的初始文字特征，包括：

通过East网络对图像帧进行检测得到文本区域，通过深度神经网络与CTC网络对所述文本区域进行识别得到所述图像帧的初始文字特征。

5.根据权利要求2所述的方法，其特征在于，所述将所述图像帧的全局特征与所述图像帧的初始文字特征通过注意力机制和预设卷积神经网络模型进行计算出所述图像帧的目标文字特征，包括：

根据所述图像帧的全局特征、所述图像帧的初始文字特征通过双线性函数计算出所述图像帧中每个初始文字特征的权重；

将所述图像帧中每个初始文字特征与所述图像帧中每个初始文字特征的权重的加权和，作为所述图像帧的中间文字特征；

将所述图像帧的中间文字特征输入至预设卷积神经网络模型进行计算出所述图像帧的目标文字特征。

6.根据权利要求2所述的方法，其特征在于，所述根据所述锚样本的融合特征从所述训练集中获取与所述锚样本对应的正样本和负样本，包括：

根据所述锚样本的融合特征从所述训练集中获取与所述锚样本处于相同类别且相似性小于第一预设阈值的图像帧，作为所述锚样本对应的正样本；

根据所述锚样本的融合特征从所述训练集中获取与所述锚样本处于不同类别且相似性大于第二预设阈值的图像帧，作为所述锚样本对应的负样本。

7.根据权利要求1所述的方法，其特征在于，所述将所述待匹配图像帧的融合特征与数据库中的相关图像帧的融合特征进行匹配，得到所述待匹配图像帧与所述相关图像帧之间的匹配结果，所述相关图像帧是与所述待匹配图像帧相关的图像帧，包括：

从所述数据库中获取相关图像帧，所述相关图像帧为与所述待匹配图像帧的拍摄位置相关的图像帧；

计算所述待匹配图像帧的融合特征与所述相关图像帧的融合特征之间的欧式距离；

根据所述欧式距离得到所述待匹配图像帧与所述相关图像帧之间的匹配结果。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述匹配结果符合预设匹配结果的待匹配图像帧，存储至数据库中以对地图进行更新。