[发明专利]基于多模态数据的模型训练方法及装置

权利要求书

1.一种基于多模态数据的模型训练方法，其特征在于，所述方法包括：

确定至少两种模态类型的目标训练数据集合；每种所述模态类型的目标训练数据集合均包括若干个目标训练数据子集，所有所述模态类型的目标训练数据集合至少包括视频帧模态类型的目标训练数据集合以及文本模态类型的目标训练数据集合；

根据所有所述模态类型的目标训练数据集合，对预先确定出的待训练重构模型进行训练，得到待定重构模型，其中，所述待训练重构模型包括与每种所述模态类型分别对应的待训练分支模型；

确定所述待定重构模型的目标重构损失参数，并根据所述待定重构模型的目标重构损失参数，判断所述待定重构模型是否收敛；

当判断结果为是时，将所述待定重构模型确定为目标重构模型；所述目标重构模型用于对待补充的初始素材进行素材补充，以生成与所述初始素材相匹配的目标结果；

其中，所述根据所有所述模态类型的目标训练数据集合，对预先确定出的待训练重构模型进行训练，得到待定重构模型，包括：

将所有所述模态类型的目标训练数据集合输入至预先确定出的待训练重构模型中，以使所述待训练重构模型所包括的与每种所述模态类型分别对应的待训练分支模型的嵌入层执行如下操作：对于该模态类型的目标训练数据集合中的每个所述目标训练数据子集，确定该目标训练数据子集对应的第一特征向量以及确定该目标训练数据子集对应的目标模态类型数据的缺失占比；根据所述目标模态类型数据的缺失占比，确定该目标训练数据子集的掩码参数；根据所述掩码参数，对该目标训练数据子集对应的第一特征向量中与所述掩码参数相匹配的向量内容进行掩码，得到该目标训练数据子集对应的第二特征向量；所述掩码参数包括所需掩码的数据占比和/或所需掩码的数据位置；

对于输入的每种所述模态类型的目标训练数据集合，通过该模态类型对应的待训练分支模型的特征融合层，对其所包括的每个所述目标训练数据子集对应的第二特征向量与预先对应生成的第三特征向量执行融合操作，得到所有所述目标训练数据子集对应的融合后特征向量；

对于输入的每种所述模态类型的目标训练数据集合，通过该模态类型对应的待训练分支模型的预测重构层，对其所包括的每个所述目标训练数据子集对应的融合后特征向量中被掩码的所述向量内容执行预测重构操作，得到所有所述目标训练数据子集对应的预测重构向量内容。

2.根据权利要求1所述的基于多模态数据的模型训练方法，其特征在于，所述第三特征向量是通过该模态类型对应的其余待训练分支模型的嵌入层对其余模态类型的目标训练数据集合进行向量转换得到的，或者对该目标训练数据子集所缺失的所述目标模态类型数据进行向量初始化得到的。

3.根据权利要求2所述的基于多模态数据的模型训练方法，其特征在于，所述确定所述待定重构模型的目标重构损失参数，包括：

对于每种所述模态类型的目标训练数据集合，计算其所包括的每个所述目标训练数据子集对应的预测重构向量内容与对应的所述第一特征向量之间的距离回归损失参数，得到所有所述目标训练数据子集对应的距离回归损失参数，并根据所有所述目标训练数据子集对应的距离回归损失参数，确定该模态类型对应的训练后分支模型的重构损失参数；

通过每种所述模态类型分别对应的待训练分支模型的预测重构层，提取每个所述模态类型的目标训练数据集合对应的语义特征信息，并根据所有所述模态类型的目标训练数据集合对应的语义特征信息，计算所有所述模态类型的目标训练数据集合之间的语义特征损失参数，作为所述待定重构模型的目标语义特征损失参数；

根据所有所述模态类型分别对应的训练后分支模型的重构损失参数以及所述目标语义特征损失参数，计算所述待定重构模型的目标重构损失参数。