[发明专利]图像的描述语句定位方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像的描述语句定位方法及装置、电子设备和存储介质。该方法包括：对待分析描述语句与待分析图像进行分析，获得待分析描述语句的多个语句注意力权重及待分析图像的多个图像注意力权重；根据多个语句注意力权重及待分析图像的主体特征、位置特征及关系特征，获得多个第一匹配得分；根据多个第一匹配得分以及多个图像注意力权重，获得待分析描述语句与待分析图像之间的第二匹配得分；根据第二匹配得分，确定待分析描述语句在待分析图像中的定位结果。本公开实施例可提高描述语句在图像中定位的准确度。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种图像的描述语句定位方法及装置、电子设备和存储介质。

背景技术

指代短语定位是是计算机视觉和自然语言处理交叉领域的重要问题，例如可要求机器根据给出的一段话(语句)在图像中定位该语句所描述的对象(人或物体等)。相关技术中，提出了由定位模块和关系模块等组成的组合模块化网络，用于识别对象及其关系，然而这些模型可能过度依赖特定的单词或视觉概念，并偏向于经常观察到的证据，导致语句与图像的对应效果较差。

发明内容

本公开提出了一种图像的描述语句定位的技术方案。

根据本公开的一方面，提供了一种图像的描述语句定位方法，包括：对待分析描述语句与待分析图像进行分析处理，获得所述待分析描述语句的多个语句注意力权重以及所述待分析图像的多个图像注意力权重；根据所述多个语句注意力权重以及待分析图像的主体特征、位置特征及关系特征，获得多个第一匹配得分，其中，所述待分析图像中包括多个对象，主体对象为所述多个对象中注意力权重最高的对象，所述主体特征为所述主体对象的特征，所述位置特征为所述多个对象的位置特征，所述关系特征为所述多个对象之间的关系特征；根据所述多个第一匹配得分以及所述多个图像注意力权重，获得所述待分析描述语句与所述待分析图像之间的第二匹配得分；根据所述第二匹配得分，确定所述待分析描述语句在所述待分析图像中的定位结果。

在一种可能的实现方式中，对待分析描述语句与待分析图像分别进行分析处理，获得所述待分析描述语句的多个语句注意力权重以及所述待分析图像的多个图像注意力权重，包括：对所述待分析图像进行特征提取，获得所述待分析图像的图像特征向量；对所述待分析描述语句进行特征提取，获得所述待分析描述语句的多个分词的分词嵌入向量；根据所述图像特征向量以及所述多个分词的分词嵌入向量，获得所述待分析描述语句的多个语句注意力权重以及所述待分析图像的多个图像注意力权重。

在一种可能的实现方式中，该方法还包括：通过神经网络获取所述待分析描述语句的多个语句注意力权重以及所述待分析图像的多个图像注意力权重。

在一种可能的实现方式中，所述多个语句注意力权重包括语句主语权重、语句位置权重及语句关系权重，所述神经网络包括图像注意力网络，所述图像注意力网络包括主体网络、位置网络以及关系网络，所述多个第一匹配得分包括主语匹配得分、位置匹配得分及关系匹配得分；

根据所述多个语句注意力权重以及待分析图像的主体特征、位置特征及关系特征，获得多个第一匹配得分，包括；将所述语句主语权重及主体特征输入所述主体网络中处理，获得所述主语匹配得分；将所述语句位置权重及位置特征输入所述位置网络中处理，获得所述位置匹配得分；将所述语句关系权重及关系特征输入所述关系网络中处理，获得所述关系匹配得分。

在一种可能的实现方式中，所述多个图像注意力权重包括主体对象权重、对象位置权重及对象关系权重，根据所述多个第一匹配得分以及所述多个图像注意力权重，获得所述待分析描述语句与所述待分析图像之间第二匹配得分，包括：

根据所述主体对象权重、所述对象位置权重及所述对象关系权重，对所述主语匹配得分、所述位置匹配得分及所述关系匹配得分进行加权平均，确定所述第二匹配得分。

在一种可能的实现方式中，所述方法还包括：将所述待分析图像输入特征提取网络中处理，获得所述主体特征、所述位置特征及所述关系特征。