[发明专利]一种基于交叉监督的多模态数据分类方法及装置

权利要求书

1.一种基于交叉监督的多模态数据分类方法，其特征在于，包括：

步骤1、获取多模态数据，并对部分多模态数据以文本，音频以及视频三个维度进行标签标注，构建包含标已注数据和未标注数据的样本集；

步骤2、以同一个网络结构为基础，构建第一分类模型与第二分类模型，所述第一分类模型与所述第二分类模型的参数初始化方式不同；

步骤3、利用步骤1构建的样本集，对步骤2构建的第一分类模型与第二分类模型进行训练与参数调整，所述训练包括监督训练和交叉监督训练；

步骤4、采用已标注数据，分别对步骤3训练获得的第一分类模型与第二分类模型进行测试，根据测试结果筛选出对应F1值更高的模型，作为最终的多模态数据分类模型；

步骤5、将待分类的多模态数据输入至多模态数据分类模型，输出多模态数据对应的分类结果。

2.根据权利要求1所述的基于交叉监督的多模态数据分类方法，其特征在于，所述步骤1的样本集构建还包括多模态数据的预处理：

针对文本，通过分词转换法生成对应的数字组合；

针对视频和音频，使用预训练模型进行特征的提取，并根据提取获得的特征，生成对应的张量。

3.根据权利要求1所述的基于交叉监督的多模态数据分类方法，其特征在于，所述步骤1中的已注数据与未标注数据的比例为1:10。

4.根据权利要求1所述的基于交叉监督的多模态数据分类方法，其特征在于，所述步骤2中的网络结构包括特征提取模块，处理模块，融合模块以及分类模块，所述特征提取模块包括多模态特征提取器，所述多模态特征提取器用于提取输入数据的多种模态特征向量，所述处理模块用于将提取获得的多种模态特征量转换为统一维度的稠密向量，并输入至融合模块中，所述融合模块用于将输入的多个稠密向量进行拼接操作，获得融合向量并输入分类模块，所述分类模块根据输入的融合向量进行隐射操作，获得分类结果。

5.根据权利要求1所述的基于交叉监督的多模态数据分类方法，其特征在于，所述步骤3中的监督训练是通过同一份有标注数据集合分别对应第一分类模型和第二分类模型进行训练，以最小化模型预测结果和实际标注标签之间的差距，综合考虑损失函数的结果反向传播更新梯度进行模型预测目标的学习。

6.根据权利要求1所述的基于交叉监督的多模态数据分类方法，其特征在于，所述步骤3中的交叉监督训练包括预测结果交叉监督与跨模态交叉监督。

7.根据权利要求6所述的基于交叉监督的多模态数据分类方法，其特征在于，所述预测结果交叉监督是使用第一分类模型和第二分类模型分别对无标注数据进行预测，并交换各自的预测结果作为训练数据标签进行监督训练，以最小化两个模型预测结果之间的差距，综合考虑各自交叉损失函数的结果反向传播更新梯度进行模型参数的更新。

8.根据权利要求6所述的基于交叉监督的多模态数据分类方法，其特征在于，所述跨模态交叉监督是针对数据的模态进行分离重构，获得部分模态数据，使用第一分类模型和第二分类模型分别对所述部分模态数据进行预测，以最小化两个模型预测结果之间的差距，综合考虑各自交叉损失函数的结果反向传播更新梯度进行模型参数的更新。

9.根据权利要求1所述的基于交叉监督的多模态数据分类方法，其特征在于，所述步骤4中的模型F1值的计算公式如下：

式中，l表示类别个数，Precision_i表示第i个类别的预测准确率，Recall_i表示第i个类别的预测召回率。

10.一种多模态数据分类装置，包括计算机、计算机处理器以及存储在所述计算机存储器中并在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中采用权利要求1所述的多模态数据分类模型；所述计算机处理器执行所述计算机程序时实现以下步骤：将待分类的多模态数据输入至多模态数据分类模型中，经计算与分析，输出多模态数据所对应的分类。