[发明专利]一种跨模态信息检索方法和装置

权利要求书

1.一种跨模态信息检索方法，其特征在于，包括：

获取待检索的第一模态信息，对所述第一模态信息进行特征提取，得到第一特征矩阵；

对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，以及第二模态信息对应的第二聚合特征矩阵；其中，所述第二特征矩阵是对所述第二模态信息进行特征提取得到的；

对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵；对所述第二特征矩阵与所述第一聚合特征矩阵进行门控融合，得到所述第二模态信息对应的第二混合特征矩阵；

根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，根据所述匹配度确定所述第一模态信息的检索结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵，包括：

根据所述第一特征矩阵和所述第二聚合特征矩阵，确定所述第一模态信息对应的控制门；

将所述第一特征矩阵与所述第二聚合特征矩阵进行矩阵相加，之后将矩阵相加所得的结果输入所述控制门；

以残差融合的方式，将所述控制门输出的信息融合到所述第一特征矩阵，得到所述第一模态信息对应的第一混合特征矩阵。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征矩阵和所述第二聚合特征矩阵，确定所述第一模态信息对应的控制门，包括：

将所述第一特征矩阵和所述第二聚合特征矩阵进行点乘操作，之后将点乘操作所得的结果输入第一激活函数进行处理，得到所述第一模态信息对应的控制门。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，包括：

对所述第一混合特征矩阵和所述第二混合特征矩阵分别进行降维处理，将降维处理所得的结果分别输入第二激活函数，对应得到第一激活结果和第二激活结果；

将所述第一激活结果与所述第一混合特征矩阵进行矩阵相乘，得到第一相乘结果；将所述第二激活结果与所述第二混合特征矩阵进行矩阵相乘，得到第二相乘结果；其中，所述第一相乘结果与所述第二相乘结果的矩阵大小相同；

将所述第一相乘结果与所述第二相乘结果进行矩阵相加，将矩阵相加所得的结果输入感知机网络，得到所述第一模态信息与所述第二模态信息之间的匹配度。

5.根据权利要求4所述的方法，其特征在于，所述感知机网络采用在双层线性层后接第一激活函数的形式。

6.根据权利要求1至5的任一项所述的方法，其特征在于，所述对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，包括：

计算所述第一特征矩阵与所述第二特征矩阵之间的亲和矩阵，对所述亲和矩阵进行规范化处理；

将规范化后的亲和矩阵融合到所述第一特征矩阵，得到所述第一模态信息对应的第一聚合特征矩阵。

7.根据权利要求6所述的方法，其特征在于，所述计算所述第一特征矩阵与所述第二特征矩阵之间的亲和矩阵，包括：

计算所述第一特征矩阵对应的第一投影矩阵，以及所述第二特征矩阵对应的第二投影矩阵；其中，所述第一投影矩阵和所述第二投影矩阵的矩阵大小相同；

将所述第一特征矩阵与所述第一投影矩阵进行矩阵相乘，得到第一相乘结果；将所述第二特征矩阵与所述第二投影矩阵进行矩阵相乘，得到第二相乘结果；

将所述第一相乘结果与所述第二相乘结果的转置矩阵进行矩阵相乘，得到所述第一模态信息对应的亲和矩阵。