[发明专利]基于多模态数据的模型训练方法及装置

摘要

本发明公开了一种基于多模态数据的模型训练方法及装置，该方法包括：根据确定出的至少两种模态类型的训练数据集合，训练预先确定出的待训练重构模型，得到待定重构模型；确定待定重构模型的重构损失参数，并根据重构损失参数，判断待定重构模型是否收敛，若是，则将待定重构模型确定为目标重构模型。可见，实施本发明能够同时对多个模态类型对应的待训练分支模型进行联合训练，从而训练出目标重构模型，以通过其生成各模态类型对应的结果。相较于单独训练多个模型来说，不仅可以缩短多个模型训练的时长，从而快速地训练出多个模态类型的模型，还可以降低各模型之间的语义特征分析差异性，从而能够提高生成的各模态类型对应的结果之间的匹配度。