[发明专利]模型训练方法、行为预测方法、装置及可读存储介质

权利要求书

1.一种模型训练方法，其特征在于，所述模型训练方法包括：

获取用于预训练初始行为预测模型中初始序列编码器的第一序列数据；其中，所述第一序列数据包括样本用户在游戏过程中所产生的多个第一行为数据；

利用所述第一序列数据，采用无监督的训练方式对所述初始序列编码器进行预训练，得到预训练的序列编码器；

通过所述预训练的序列编码器对所述样本用户的第二序列数据进行编码，得到所述样本用户的行为序列向量；其中，所述第二序列数据包括样本用户在游戏过程中所产生的多个第二行为数据；每个第二行为数据均具有对应的行为标签；所述行为标签表征所述样本用户在产生该第二行为数据后的预设时间段内所存在的目标行为；

利用所述初始行为预测模型中的初始门控网络对所述样本用户的画像特征向量与所述样本用户的行为序列向量进行融合处理，得到所述样本用户的融合特征向量；

利用所述融合特征向量以及每个第二行为数据对应的行为标签，对所述初始行为预测模型进行训练，得到训练好的目标行为预测模型；其中，所述目标行为预测模型包括目标门控网络、目标序列编码器以及行为预测子模型；所述行为预测子模型用于基于目标用户的融合特征向量对目标用户在预设时间段内能够产生的目标行为进行预测。

2.根据权利要求1所述的模型训练方法，其特征在于，所述利用所述初始行为预测模型中的初始门控网络对所述样本用户的画像特征向量与所述样本用户的行为序列向量进行融合，得到所述样本用户的融合特征向量，包括：

获取所述样本用户的样本画像特征；

通过所述初始门控网络将所述样本画像特征映射至高维度向量空间，得到画像特征向量；

利用所述初始门控网络融合所述画像特征向量和所述行为序列向量，得到融合特征向量。

3.根据权利要求2所述的模型训练方法，其特征在于，所述初始门控网络包括重置门和更新门；所述利用所述初始门控网络融合所述画像特征向量和所述行为序列向量，得到融合特征向量，包括：

通过所述重置门，从所述画像特征向量和所述行为序列向量中抽取出具有短期依赖关系的第一关联向量；

通过所述更新门，从所述画像特征向量和所述行为序列向量中抽取出具有长期依赖关系的第二关联向量；

基于所述第一关联向量和所述第二关联向量，确定所述融合特征向量。

4.根据权利要求1所述的模型训练方法，其特征在于，所述通过所述预训练的序列编码器对所述样本用户的第二序列数据进行编码，得到所述样本用户的行为序列向量，包括：

通过所述预训练的序列编码器对所述样本用户的第二序列数据进行均值池化处理，将所述第二序列数据映射为行为序列向量；其中，所述行为序列向量与所述画像特征向量具有相同的向量维度。

5.根据权利要求1所述的模型训练方法，其特征在于，所述利用所述融合特征向量以及每个第二行为数据对应的行为标签，对所述初始行为预测模型进行训练，得到训练好的目标行为预测模型，包括：

将所述融合特征向量作为所述初始行为预测模型的输入特征，以及将每个第二行为数据对应的行为标签作为所述初始行为预测模型的输出特征，对所述初始行为预测模型进行训练，确定所述初始行为预测模型的交叉熵损失；

通过所述交叉熵损失分别调整所述初始行为预测模型中的所述初始门控网络、所述预训练的序列编码器以及行为预测子模型中所涉及的参数，直至所述交叉熵损失小于预设损失阈值，得到训练好的目标行为预测模型。

6.根据权利要求5所述的模型训练方法，其特征在于，所述将所述融合特征向量作为所述初始行为预测模型的输入特征，以及将每个第二行为数据对应的行为标签作为所述初始行为预测模型的输出特征，对所述初始行为预测模型进行训练，确定所述初始行为预测模型的交叉熵损失，包括：

利用所述融合特征向量，通过所述初始行为预测模型预测所述样本用户产生每个第二行为数据后预设时间段内所存在的游戏行为，得到预测结果；

基于所述预测结果和所述行为标签，确定所述初始行为预测模型的交叉熵损失。