[发明专利]一种预训练方法及相关方法和设备

权利要求书

1.一种预训练方法，其特征在于，包括：

获取多模态训练数据；

基于包括编码部分和辅助训练部分的学生模型，对所述多模态训练数据进行编码，得到第一编码结果，并基于所述第一编码结果预测特征，其中，所述辅助训练部分至少用于对编码过程中产生的特征中的部分特征进行掩码遮蔽处理；

基于只包括编码部分的教师模型，对所述多模态训练数据进行编码，得到第二编码结果，并基于所述第二编码结果确定目标特征；

以使基于所述第一编码结果预测的特征趋近于所述目标特征为目标，对所述学生模型进行参数更新，其中，所述教师模型的参数随所述学生模型参数的更新而更新；训练结束后得到的学生模型作为目标预训练模型。

2.根据权利要求1所述的预训练方法，其特征在于，所述辅助训练部分包括：掩码遮蔽模块和随机模态丢弃模块；

所述随机模态丢弃模块，用于基于设定的模态丢弃概率，对所述学生模型的编码部分在编码过程中产生的多模态特征进行模态丢弃处理，其中，所述模态丢弃概率包括每种模态的特征被丢弃的概率以及不进行模态丢弃的概率；

所述掩码遮蔽模块，用于对模态丢弃处理后的特征中的部分特征进行掩码遮蔽处理。

3.根据权利要求2所述的预训练方法，其特征在于，基于学生模型对多模态训练数据进行编码，得到第一编码结果，包括：

对所述多模态训练数据进行损毁处理，得到损毁后多模态训练数据；

基于所述学生模型的编码部分，对所述损毁后多模态训练数据中各模态的数据分别提取特征，得到的特征作为第一多模态特征；

基于所述学生模型的随机模态丢弃模块，对所述第一多模态特征进行模态丢弃处理，得到模态丢弃后特征；

基于所述学生模型的编码部分，对所述模态丢弃后特征进行融合处理，得到第一融合特征；

基于所述学生模型的掩码遮蔽模块，对所述第一融合特征中的部分特征进行掩码遮蔽处理，得到掩码遮蔽后特征；

基于所述学生模型的编码部分，对所述掩码遮蔽后特征进行上下文编码，得到第一编码结果。

4.根据权利要求1所述的预训练方法，其特征在于，基于教师模型对所述多模态训练数据进行编码，得到第二编码结果，包括：

基于所述教师模型，对所述多模态训练数据中各模态的数据分别提取特征，得到的特征作为第二多模态特征；

基于所述教师模型，对所述第二多模态特征进行融合处理，得到第二融合特征；

基于所述教师模型，对所述第二融合特征进行上下文编码，得到第二编码结果。

5.根据权利要求2所述的预训练方法，其特征在于，所述编码部分包括多种模态分别对应的前端编码模块，以及，特征融合模块和上下文编码模块；

基于学生模型对多模态训练数据进行编码，得到第一编码结果，包括：

对所述多模态训练数据进行损毁处理，得到损毁后多模态训练数据；

基于所述学生模型的各前端编码模块，对所述损毁后多模态训练数据中对应模态的数据提取特征，得到的特征作为第一多模态特征；；

基于所述学生模型的随机模态丢弃模块，对所述第一多模态特征进行模态丢弃处理，得到模态丢弃后特征；

基于所述学生模型的特征融合模块，对所述模态丢弃后特征进行融合处理，得到第一融合后特征；

基于所述学生模型的掩码遮蔽模块，对所述第一融合后特征中的部分特征进行掩码遮蔽处理，得到掩码遮蔽后特征；

基于所述学生模型的上下文编码模块，对所述掩码遮蔽后特征进行上下文编码，得到第一编码结果。

6.根据权利要求1所述的预训练方法，其特征在于，所述以使基于所述第一编码结果预测的特征趋近于所述目标特征为目标，对所述学生模型进行参数更新，包括：

基于预测的特征和所述目标特征，确定预测损失；

基于所述预测损失，对所述学生模型进行参数更新。