[发明专利]一种跨模态信息检索方法和装置

说明书

本发明公开了一种跨模态信息检索方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待检索的第一模态信息，对第一模态信息进行特征提取，得到第一特征矩阵；对第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到第一聚合特征矩阵以及第二聚合特征矩阵；对第一特征矩阵与第二聚合特征矩阵进行门控融合，得到第一混合特征矩阵；对第二特征矩阵与第一聚合特征矩阵进行门控融合，得到第二混合特征矩阵；根据第一混合特征矩阵和第二混合特征矩阵，计算第一模态信息与第二模态信息之间的匹配度，根据匹配度确定第一模态信息的检索结果。该实施方式能够使匹配度高的特征被集中融合，匹配度低的特征不被融合，提高信息检索精度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种跨模态信息检索方法和装置。

背景技术

跨模态信息检索即寻找不同模态信息之间的关系，实现利用某一种模态信息，搜索近似语义的其他模态信息。比如，利用图像来检索相应的文本，或者利用文本来检索相应的图像。其中，模态是指信息的存在形式，比如文本、图像、音频、视频等文件格式。

现有的跨模态信息检索方式主要有二值表示学习(binary represen tationlearning)和实值表示学习(real-valued representation learning)两种。其中，二值表示学习是将提取的图像特征和文本特征先映射到汉明二值空间，然后在此空间中进行学习。实值表示学习是直接对提取的图像特征和文本特征进行学习。

在实现本发明过程中，现有技术中至少存在如下问题：

现有的检索方式是将不同模态信息独立嵌入到一个联合空间，之后衡量不同模态信息之间的相似性，无法弥补不同模态信息之间的特征差异，导致检索性能较差。

发明内容

有鉴于此，本发明实施例提供一种跨模态信息检索方法和装置，该方法通过将第一特征矩阵和第二特征矩阵进行多模态融合，并利用门控机制将一个模态的原始特征与另一模态传递的聚合特征进行融合，使得匹配度高的特征被集中融合，匹配度低的特征不被融合，能够自适应的调整信息融合的程度，大幅提高了信息检索精度。

为实现上述目的，根据本发明实施例的一个方面，提供了一种跨模态信息检索方法。

本发明实施例的一种跨模态信息检索方法，包括：获取待检索的第一模态信息，对所述第一模态信息进行特征提取，得到第一特征矩阵；对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，以及第二模态信息对应的第二聚合特征矩阵；其中，所述第二特征矩阵是对所述第二模态信息进行特征提取得到的；对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵；对所述第二特征矩阵与所述第一聚合特征矩阵进行门控融合，得到所述第二模态信息对应的第二混合特征矩阵；根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，根据所述匹配度确定所述第一模态信息的检索结果。

可选地，所述对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵，包括：根据所述第一特征矩阵和所述第二聚合特征矩阵，确定所述第一模态信息对应的控制门；将所述第一特征矩阵与所述第二聚合特征矩阵进行矩阵相加，之后将矩阵相加所得的结果输入所述控制门；以残差融合的方式，将所述控制门输出的信息融合到所述第一特征矩阵，得到所述第一模态信息对应的第一混合特征矩阵。

可选地，所述根据所述第一特征矩阵和所述第二聚合特征矩阵，确定所述第一模态信息对应的控制门，包括：将所述第一特征矩阵和所述第二聚合特征矩阵进行点乘操作，之后将点乘操作所得的结果输入第一激活函数进行处理，得到所述第一模态信息对应的控制门。