[发明专利]基于自注意力机制的序列推荐方法、装置及设备

说明书

本发明公开了一种基于自注意力机制的序列推荐方法，该方法包括以下步骤：获取目标用户的历史行为序列，并将历史行为序列划分为长期行为序列和短期行为序列；将长期行为序列和短期行为序列输入至推荐模型进行推荐学习，获得目标推荐对象；其中，推荐模型为整合用户长短期偏好的多层自注意力网络序列推荐模型；将目标推荐对象推送给目标用户。该方法，可学习目标用户的长期偏好和短期需求，使得目标推荐对象更符合目标用户的基于时间的变化喜好，使得推荐更加准确，可提升用户体验度。本发明还公开了一种基于自注意力机制的序列推荐装置、设备及可读存储介质，具有相应的技术效果。

技术领域

本发明涉及信息服务技术领域，特别是涉及一种基于自注意力机制的序列推荐方法、装置、设备及可读存储介质。

背景技术

随着移动互联网技术不断发展，序列推荐在许多应用中变得越来越广泛且多方面。例如音乐列表推荐，产品购买推荐和广告点击预测。在这样的应用程序中，一个用户的行为被建模为一条按时间排序的行为序列，并且该用户随后的行为是被他以前的历史行为所影响的。因此，建模用户和项目之间复杂的序列互动来生成个性化的推荐就显得尤为重要。

基于马尔可夫链(Markov Chain，MC)的模型是最早的序列推荐的方法，它们假设用户的下一次行为是取决于用户前一次或者前几次行为的。基于这样一个强有力的假设，基于MC的方法难以捕捉到复杂场景下的用户错综复杂的动态性。近年来，深度学习在图像处理、自然语言处理等领域取得了突破性的进展，为序列推荐系统的研究也带来了新的机遇。例如循环神经网络(Recurrent Neural Network，RNN)和卷积神经网络(ConvolutionalNeural Network，CNN)也已经被深入的研究并且对序列推荐产生了非凡的影响。RNN能够通过其自身的循环结构来建模用户的长期依赖性，CNN通过对输入序列进行卷积操作来隐式的捕捉序列的局部特征。然而，基于RNN和基于CNN的方法都倾向于将用户的历史记录压缩为一个固定的隐含状态向量，却不能显式的捕捉项目与项目之间的交互，并且不管序列中两个项目之间的距离如何。

最近，提出了自注意力网络用于序列对序列建模，这个序列对序列模型(Transformer)是由堆叠的自注意力网络组成，没有使用递归或卷积操作，其在序列长度上比RNN/CNN具有更大的灵活性，并且在建模用户依赖性时具有更多的任务/数据驱动。此外，计算整个序列的注意力仅需要矩阵乘法，与RNN的顺序计算相比，矩阵乘法可以完全并行化。自我注意力机制也已经被应用于序列推荐并取得满意的结果。例如SASRec和CSAN。但是已有的基于自注意力的推荐方法，在建模用户依赖性的时候没有考虑序列的位置，导致序列中时间顺序信息的损失，以致不足以表征和区分用户动态和不断变化的长期偏好和短期需求，进一步导致推荐方法推荐的对象不够准确，用户体验较差。

综上所述，如何有效地解决提高推荐准确性等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种基于自注意力机制的序列推荐方法、装置、设备及可读存储介质，以提高推荐准确性，改善用户体验。

为解决上述技术问题，本发明提供如下技术方案：

一种基于自注意力机制的推荐方法，包括：

获取目标用户的历史行为序列，并将所述历史行为序列划分为长期行为序列和短期行为序列；

将所述长期行为序列和所述短期行为序列输入至推荐模型进行推荐学习，获得目标推荐对象；其中，所述推荐模型为整合用户长短期偏好的多层自注意力网络序列推荐模型；

将所述目标推荐对象推送给所述目标用户。

优选地，所述将所述长期行为序列和所述短期行为序列输入至推荐模型进行推荐学习，获得目标推荐对象，包括：

将所述长期行为序列和所述短期行为序列输入所述推荐模型中；所述推荐模型包括嵌入层、自注意力网络层和预测层；