[发明专利]一种基于Self-Attention的序列推荐方法

说明书

本发明公开了一种基于Self‑Attention的序列推荐方法，包括如下步骤：S1：通过日志系统获取用户行为的会话序列，会话序列中包含多个元素，将会话序列转换为固定长度，并将序列中每个元素编码在低纬度的密集空间中；S2：利用self‑attention模块获取输入和输出、物品之间的全局依赖；S3：利用self‑attention学习物品交互的高阶依赖；S4：采用预测层预测会话的下一次点击，利用带BPR优化准则的目标函数和增量训练方法对模型参数进行训练，并根据训练结果进行推送。本发明利用多层self‑attention学习序列交互的高层特征，通过多头注意力机制从不同空间表达序列元素之间的关系，既满足记忆性、泛化、又能从丰富的序列信息中挖掘用户偏好、实现千人千面的推荐。

技术领域

本发明涉及信息推送技术领域，具体涉及一种基于Self-Attention的序列推荐方法。

背景技术

在当今信息过载的大数据时代，如何从巨量的信息中获得有益的信息是人们面临的重要课题。推荐系统可以为不同的用户提供个性化的推荐，每个用户都可以从推荐系统筛选出的有限的、多样化的信息中获得自己想要的信息。

传统的推荐系统利用用户的属性为用户画像并建模，然后推荐一些用户可能感兴趣的物品。换句话说，每个用户必须有足够多的交互记录和可见的用户身份数据。然而在很多在线系统中，比如电子商务、新闻和娱乐网站，推荐系统只能依赖当前的会话信息来为用户准确推荐，因为有很多未登录用户，无法获取他们历史交互信息。

因此，如何提高基于时序的推荐系统的准确性，研发有效的推荐算法一直是学术界和工业界的热点。

以往基于序列的推荐算法主要采用基于物品的启发式方法，通过捕获物品之间的关系来描述序列中的用户偏好。然而，这些方法没有考虑会话中整体时序信息。从循环神经网络（RNN）在序列建模取得的成功得到启发，很多研究者引入这种方法到基于时序的推荐算法中便于获得会话中的时序信息。RNN基于对整个用户交互会话建模的能力获得了令人印象深刻的结果。在RNN框架下，推荐系统的准确性得到了提高。然而，用户的兴趣是变化的，于是，基于attention的RNN方法被提出，可以随时关注用户兴趣动态变化，并适应用户多样性的兴趣。

专利CN107507054A中，采用的是LSTM单循环神经网络分别对用户行为和用户信息进行建模，然后将两者组合在一起作为输出层的输入。这种方法虽然取得了很好的效果，但是，一方面由于是单向循环网络，表达力受限，另一方面RNN固有的串行执行，不能并行执行，导致效率低下

总之，基于RNN框架的推荐系统会面临以下局限：

（1）梯度消失和梯度爆炸依旧是个严重问题；

（2）基于时序的RNN是串行方式，无法实现并行计算，导致计算效率低下；

（3）基于RNN的推荐算法只能基于单向计算序列的依赖，不能从双向或全局获得序列的依赖，因此损失了一些重要的信息。

发明内容

针对现有技术存在的上述不足，本发明的目的在于提供一种基于Self-Attention的序列推荐方法，以解决现有技术中推荐系统梯度消失、梯度爆炸、计算效率低下、容易损失重要信息的问题。

为了解决上述技术问题，本发明采用如下技术方案：

一种基于Self-Attention的序列推荐方法，包括如下步骤：

S1：通过日志系统获取用户行为的会话序列，会话序列中包含多个元素，将会话序列转换为固定长度，并将序列中每个元素编码在低纬度的密集空间中；

S2：利用self-attention模块获取输入和输出、物品之间的全局依赖；

S3：利用self-attention学习物品交互的高阶依赖；

S4：采用预测层预测会话的下一次点击，利用带BPR优化准则的目标函数和增量训练方法对模型参数进行训练，并根据训练结果进行推送。