[发明专利]一种融合用户偏好预测的深度强化学习推荐方法

说明书

本发明为一种融合用户偏好预测的深度强化学习推荐方法，属于大数据人工智能深度学习领域。该方法包含以下步骤：S1：录入用户行为和项目的历史交互相关数据，对数据进行预处；S2：根据用户行为，建立用户长短期偏好模型，得到历史用户偏好；S3：建立用户未来偏好预测模型，预测下一时刻的未来用户偏好；S4：建立用户、项目、时间之间的上下文知识表征；S5：利用注意力机制将历史用户偏好、未来用户偏好和用户的上下文知识表征进行融合，得到用户当前时刻的状态表征；S6：搭建基于强化学习网络的推荐系统；S7：利用训练好的推荐系统对用户进行项目推荐。本发明方法能够增强用户偏好不确定的表征能力，提升推荐系统的用户体验感。

技术领域

本发明涉及一种融合用户偏好预测的深度强化学习推荐方法，属于大数据人工智能领域，尤其适用于融合用户偏好预测的深度强化学习推荐。

背景技术

随着互联网和自动技术的飞速发展，现在越来越多的人都拥有智能手机，平板电脑和其他智能终端，这使得生产、生活的数据信息呈爆炸式增长，这就导致了信息超载问题。当用户在搜索其感兴趣的信息时，会花费大量的时间和精力去过滤掉无用的信息，然而结果往往无法让用户的满意，于是，个性化推荐技术应时而生。个性化推荐技术是指利用用户某种兴趣点和购买特点，向用户推荐感兴趣的内容，是解决信息超载问题的有效途径。

在序列推荐系统领域，如电子商务或者在线服务平台，用户与推荐系统之间往往会发生持续密切的交互行为。在这一过程中，用户的偏好通常会显著地随着推荐结果的不同而发生动态漂移。导致用户的偏好存在不确定性。为了有效消减用户偏好不确定对推荐系统的影响，理想的方法是在充分获取用户历史数据的前提下，设计并训练特定的监督模型，从而得到用户对于不同物品的喜好程度。然而在许多现实应用中，用户的历史行为往往服从特定的长尾分布，即大多数用户仅仅产生规模有限的历史数据，而极少的用户则会生成较为充足的历史数据。这一现象所带来的数据稀疏问题导致现有模型只能刻画用户的部分偏好。此外，一个直接的应对方法是对用户行为进行主动式的探索，即通过对用户发起大量尝试性的推荐，以充分的获得其行为数据，从而保障推荐系统的可用性。然而不幸的是，这一简单的做法势必引发极大的探索开销，使得它在现实中并不具备可行性，特别是并不能够有效消除用户偏好不确定对系统的短期影响。

发明内容

有鉴于此，本发明提供一种融合用户偏好预测的深度强化学习推荐方法，旨在有效消减用户偏好不确定对系统的短期影响，提高推荐系统的舒适性。

为达到上述目的，本发明提供如下技术方案：

基于用户画像聚类的协同过滤推荐方法，包括如下步骤：

S1：录入用户行为和项目的历史交互相关数据，对数据进行预处理；

S2：根据用户行为，建立用户长短期偏好模型，得到历史用户偏好；

S3：利用深度学习方法建立用户未来偏好预测模型，预测下一时刻的未来用户偏好；

S4：建立异质图网络，建立用户、项目、时间之间的上下文知识表征；

S5：利用注意力机制将历史用户偏好、未来用户偏好和用户的上下文知识表征进行融合，得到用户当前时刻的状态表征；

S6：搭建基于强化学习网络的推荐系统，将所有的用户当前时刻的状态表征作为强化学习推荐系统的状态空间，并利用历史交互数据对网络参数进行训练；

S7：利用训练好的推荐系统对用户进行项目推荐。

进一步，所述的用户的集合为U＝[u₁，u₂，…，u_m]，所述的项目的集合为I＝[i₁，i₂，…，i_n]，所述的用户行为是统计用户和项目之间交互行为的n×m×k维的矩阵，T＝[T₁，T₂，…，T_k]为时间维度。