[发明专利]一种基于Self-Attention的序列推荐方法

权利要求书

1.一种基于Self-Attention的序列推荐方法，其特征在于，包括如下步骤：

S1：通过日志系统获取用户行为的会话序列，会话序列中包含多个元素，将会话序列转换为固定长度，并将序列中每个元素编码在低纬度的密集空间中；

S2：利用self-attention模块获取输入和输出、物品之间的全局依赖；

S3：利用self-attention学习物品交互的高阶依赖；

S4：采用预测层预测会话的下一次点击，利用带BPR优化准则的目标函数和增量训练方法对模型参数进行训练，并根据训练结果进行推送。

2.根据权利要求1所述基于Self-Attention的序列推荐方法，其特征在于，在S1中，所述会话序列包括物品点击序列和行为序列，并将会话序列的长度设为预定值；当物品点击序列的长度不足预定值的，对其进行补齐，并按照时间先后顺序进行排列；当行为序列的长度超过预定值的，根据行为序列的产生时间，选取日期最近的、预定值个数的物品备用；

将会话序列中的每个元素进行one-hot编码，然后随机初始化为维度为设定值的嵌入密集向量，作为网络的输入，其值随网络训练收敛而进行动态调整，用M表示；

对会话序列中每个元素随机初始化一个位置标记，并进行嵌入，维度和物品嵌入保持一致，用P表示；

将M和P按照对应元素相加，得到的矩阵作为网络的输入T。

3.根据权利要求2所述基于Self-Attention的序列推荐方法，其特征在于，对于不足预定值的会话序列，在其左边用0补齐。

4.根据权利要求2所述基于Self-Attention的序列推荐方法，其特征在于，在会话序列中的多个元素按照时间先后顺序从左至右顺序排列。

5.根据权利要求2所述基于Self-Attention的序列推荐方法，其特征在于，在S2中，将T输入到self-attention模块。

6.根据权利要求5所述基于Self-Attention的序列推荐方法，其特征在于，在S3中，对T采用多个不同矩阵进行线性转换，得到三个矩阵分别为Q、K、V；然后将Q和K转置相乘后，进行维度缩放，将得到的值与V相乘，作为单个元素的编码。

7.根据权利要求6所述基于Self-Attention的序列推荐方法，其特征在于，在S4中，采用多头注意力机制对多个元素编码进行拼接，并将拼接后输出的结果与会话序列中元素嵌入相乘，获得的结果输入至softmax函数中，得到对应评分，根据评分对会话序列中的元素进行排序，并依次进行推送。

8.根据权利要求7所述基于Self-Attention的序列推荐方法，其特征在于，所述拼接通过残存连接和批标准化处理。