[发明专利]一种预训练方法及相关方法和设备

说明书

本发明提供了一种预训练方法及相关方法和设备，其中，预训练方法包括：获取多模态训练数据；基于包括编码部分和辅助训练部分的学生模型，对多模态训练数据进行编码，得到第一编码结果，并基于第一编码结果预测特征；基于只包括编码部分的教师模型，对多模态训练数据进行编码，得到第二编码结果，并基于第二编码结果确定目标特征；以使基于第一编码结果预测的特征趋近于目标特征为目标，对学生模型进行参数更新，教师模型的参数随学生模型参数的更新而更新；训练结束后得到的学生模型作为目标预训练模型。本发明提供的预训练方法可适用于多模态数据应用场景，还可适用于单模态数据应用场景，且本发明提供的预训练方法具有较高的模型训练效率。

技术领域

本发明涉及无监督学习技术领域，尤其涉及一种预训练方法及相关方法和设备。

背景技术

包含编码器的信息预测模型的一般获得方式为，先基于预训练方法获得编码器，即，用无监督数据对初始的预训练模型进行训练，将训练得到的模型中的编码部分作为编码器，在此基础上构建包括编码器和预测模块的模型，进而利用指定任务的训练数据对构建的模型进行微调，从而得到最终针对指定任务的信息预测模型。

目前的预训练方法多为基于单模态数据的预训练方法，即基于单一模态的数据对预训练模型进行训练，比如，基于音频数据的预训练方法基于音频数据对预训练模型进行训练。目前，基于单模态数据的预训练方法有多种，比如，基于对比学习的预训练方法、基于掩码预测机制的预训练方法等。

虽然基于单模态数据的预训练方法取得了巨大的成功，但是，其仅局限在单模态数据应用场景，无法适用于多模态数据应用场景。

发明内容

有鉴于此，本发明提供了一种预训练方法及相关方法和设备，用以解决现有的预训练方法仅局限在单模态数据应用场景，无法适用于多模态数据应用场景的问题，其技术方案如下：

一种预训练方法，包括：

获取多模态训练数据；

基于包括编码部分和辅助训练部分的学生模型，对所述多模态训练数据进行编码，得到第一编码结果，并基于所述第一编码结果预测特征，其中，所述辅助训练部分至少用于对编码过程中产生的特征中的部分特征进行掩码遮蔽处理；

基于只包括编码部分的教师模型，对所述多模态训练数据进行编码，得到第二编码结果，并基于所述第二编码结果确定目标特征；

以使基于所述第一编码结果预测的特征趋近于所述目标特征为目标，对所述学生模型进行参数更新，其中，所述教师模型的参数随所述学生模型参数的更新而更新；训练结束后得到的学生模型作为目标预训练模型。

可选的，所述辅助训练部分包括：掩码遮蔽模块和随机模态丢弃模块；

所述随机模态丢弃模块，用于基于设定的模态丢弃概率，对所述学生模型的编码部分在编码过程中产生的多模态特征进行模态丢弃处理，其中，所述模态丢弃概率包括每种模态的特征被丢弃的概率以及不进行模态丢弃的概率；

所述掩码遮蔽模块，用于对模态丢弃处理后的特征中的部分特征进行掩码遮蔽处理。

可选的，基于学生模型对多模态训练数据进行编码，得到第一编码结果，包括：

对所述多模态训练数据进行损毁处理，得到损毁后多模态训练数据；

基于所述学生模型的编码部分，对所述损毁后多模态训练数据中各模态的数据分别提取特征，得到的特征作为第一多模态特征；

基于所述学生模型的随机模态丢弃模块，对所述第一多模态特征进行模态丢弃处理，得到模态丢弃后特征；

基于所述学生模型的编码部分，对所述模态丢弃后特征进行融合处理，得到第一融合特征；