[发明专利]一种跨模态匹配方法及系统

权利要求书

1.一种跨模态匹配方法，其特征在于，包括以下步骤：

S1、初始化多模态信息，构建多模态样本集；所述多模态样本集中的每一个样本均包括样本数据和样本标签；所述样本数据包括图片模态数据和文字模态数据；

S2、建立第一神经网络和第二神经网络，并根据多模态样本集，通过预热损失函数，对第一神经网络和第二神经网络进行预热；所述预热损失函数为：

其中，L_warmup(I_i,T_i)为预热损失函数；I_i为第i个样本的图片模态数据；T_i为第i个样本的文字模态数据；α为相似性间隔参数；为与I_i不匹配的文字模态数据；为与T_i不匹配的图片模态数据；S(·)为图片模态与文字模态的相似性函数；[·]₊为取正函数，若[·]₊的自变量不小于0，则[·]₊值为自变量数值，若[·]₊的自变量小于0，则[·]₊值为0；

S3、通过预热后的第一神经网络和第二神经网络，对多模态样本集进行数据划分；

S4、通过自适应预测函数，根据多模态样本集的数据划分结果，对多模态样本集进行标签协同修正；其中进行标签协同修正的表达式为：

其中，为第二神经网络划分处理的多模态样本集；为第二干净子集，为第二噪声子集；为第一神经网络划分处理的多模态样本集，为第一干净子集，为第一噪声子集；为第一或第二干净子集中的第i个样本的图片模态数据，为第一或第二干净子集中的第i个样本的文字模态数据；为第一或第二噪声子集中的第i个样本的图片模态数据，为第一或第二噪声子集中的第i个样本的文字模态数据；w_i为第i个样本的第一或第二干净置信度；为第一或第二噪声子集中第i个样本的标签，为第一或第二干净子集中第i个样本的修正标签，为第一或第二噪声子集中第i个样本的修正标签；

P(·)为自适应预测函数：

P(I_i,T_i)＝Θ(s)/τ

其中，Θ(·)为裁剪函数，b为训练批次数值，s为相似性参数，τ为图片模态与文字模态的相似性从大到小排序前N％的样本的平均相似性差值，N为小于100的正数；

S5、根据标签协同修正后的多模态样本集对第一神经网络和第二神经网络进行网络交叉训练；

S6、判断第一神经网络和第二神经网络是否均已收敛，若是，则跳转至步骤S7，若否，则跳转至步骤S3；

S7、通过已收敛的第一神经网络和第二神经网络完成跨模态匹配。

2.根据权利要求1所述的跨模态匹配方法，其特征在于，所述步骤S3包括以下分步骤：

S31、通过预热后的第一神经网络处理多模态样本集，求得每个样本的第一神经网络预热损失函数值，构建多模态样本集第一神经网络预热损失函数值分布；

S32、对多模态样本集第一神经网络预热损失函数值分布进行2分量的高斯混合模型建模，并将建模后高斯混合模型中均值较小的分量模型得到的样本后验概率作为样本第一干净置信度；

S33、将样本第一干净置信度大于干净置信度阈值的样本划分入第一干净子集，并将样本第一干净置信度小于干净置信度阈值的样本划分入第一噪声子集；

S34、通过预热后的第二神经网络处理多模态样本集，求得每个样本的第二神经网络预热损失函数值，构建多模态样本集第二神经网络预热损失函数值分布；

S35、对多模态样本集第二神经网络预热损失函数值分布进行2分量的高斯混合模型建模，并将建模后高斯混合模型中均值较小的分量模型得到的样本后验概率作为样本第二干净置信度；

S36、将样本第二干净置信度大于干净置信度阈值的样本划分入第二干净子集，并将样本第二干净置信度小于干净置信度阈值的样本划分入第二噪声子集。