[发明专利]基于多模态数据的模型训练方法及装置

说明书

本发明公开了一种基于多模态数据的模型训练方法及装置，该方法包括：根据确定出的至少两种模态类型的训练数据集合，训练预先确定出的待训练重构模型，得到待定重构模型；确定待定重构模型的重构损失参数，并根据重构损失参数，判断待定重构模型是否收敛，若是，则将待定重构模型确定为目标重构模型。可见，实施本发明能够同时对多个模态类型对应的待训练分支模型进行联合训练，从而训练出目标重构模型，以通过其生成各模态类型对应的结果。相较于单独训练多个模型来说，不仅可以缩短多个模型训练的时长，从而快速地训练出多个模态类型的模型，还可以降低各模型之间的语义特征分析差异性，从而能够提高生成的各模态类型对应的结果之间的匹配度。

技术领域

本发明涉及模型训练技术领域，尤其涉及一种基于多模态数据的模型训练方法及装置。

背景技术

随着视频制作行业的快速发展，视频制作在国内的广告市场中占据着越来越重要地位，成为了各个企业最常用以及最有效的广告手段。

当前，在制作视频的过程中，常通过训练好的各个模型来生成相应的视频以及视频文本。然而，由于在对各个模型进行训练的过程中，各个模型之间所采用的训练数据的模态类型（如视频帧、文本）以及训练方式都有所不同，使得各个模型之间对训练数据的语义特征分析差异性较大，因此，通过训练后的各个模型所生成的视频以及视频文本之间的匹配度较低。可见，提出一种新的基于多模态数据的模型训练方法以提高所生成的视频以及视频文本之间的匹配度尤为重要。

发明内容

本发明所要解决的技术问题在于，提供一种基于多模态数据的模型训练的方法及装置，不仅能够快速地训练出多个模态类型的模型，还能够提高生成的各模态类型对应的结果之间的匹配度。

为了解决上述技术问题，本发明第一方面公开了一种基于多模态数据的模型训练方法，所述方法包括：

确定至少两种模态类型的目标训练数据集合；每种所述模态类型的目标训练数据集合均包括若干个目标训练数据子集，所有所述模态类型的目标训练数据集合至少包括视频帧模态类型的目标训练数据集合以及文本模态类型的目标训练数据集合；

根据所有所述模态类型的目标训练数据集合，对预先确定出的待训练重构模型进行训练，得到待定重构模型，其中，所述待训练重构模型包括与每种所述模态类型分别对应的待训练分支模型；

确定所述待定重构模型的目标重构损失参数，并根据所述待定重构模型的目标重构损失参数，判断所述待定重构模型是否收敛；

当判断结果为是时，将所述待定重构模型确定为目标重构模型；所述目标重构模型用于对待补充的初始素材进行素材补充，以生成与所述初始素材相匹配的目标结果。

作为一种可选的实施方式，在本发明第一方面中，所述根据所有所述模态类型的目标训练数据集合，对预先确定出的待训练重构模型进行训练，得到待定重构模型，包括：

将所有所述模态类型的目标训练数据集合输入至预先确定出的待训练重构模型中，以使所述待训练重构模型所包括的与每种所述模态类型分别对应的待训练分支模型的嵌入层执行如下操作：对于该模态类型的目标训练数据集合中的每个所述目标训练数据子集，确定该目标训练数据子集对应的第一特征向量以及确定该目标训练数据子集对应的目标模态类型数据的缺失占比；根据所述目标模态类型数据的缺失占比，确定该目标训练数据子集的掩码参数；根据所述掩码参数，对该目标训练数据子集对应的第一特征向量中与所述掩码参数相匹配的向量内容进行掩码，得到该目标训练数据子集对应的第二特征向量；所述掩码参数包括所需掩码的数据占比和/或所需掩码的数据位置；