[发明专利]一种基于强化学习框架的推荐系统离线训练方法

说明书

本发明公开一种基于强化学习框架的推荐系统离线训练方法。包括：使用离线训练的方式，通过矩阵分解得到用户和商品的隐向量表示；通过强化学习算法，根据用户兴趣与所推荐商品的差异以及用户的反馈，对用户兴趣进行动态捕捉和更新；为用户维护一个参考向量，用来记录用户在最近一段时间内感兴趣商品的向量表示之和，并以此为依据对商品集合进行过滤，去除与计算长期回报无关的商品，降低计算复杂度，本发明可适用于大规模的基于评分的推荐系统。

技术领域

本发明涉及一种基于强化学习框架的推荐系统离线训练方法，是针对推荐系统中用户兴趣动态捕捉以及最大化系统长期收益的方法，属于工程应用和信息科学的交叉学科。

背景技术

随着移动互联网和各种智能设备的快速普及，人们进入了一个信息爆炸的时代。相较于过去信息匮乏的年代，现如今，人们面对各大电商网站上充斥着琳琅满目的商品亦或是视频播放网站上成千上万的电影，反而更加难以抉择。因为可供选择的方案太多，人们往往难以快速找到自己感兴趣的物品，浪费了不必要的时间和精力。为了解决上述信息过载问题，智能化、个性化的推荐系统应运而生。

推荐系统根据用户的兴趣偏好、商品的特征、用户与商品的历史交互过程以及一些附加信息(如时空数据)等，为用户推荐商品。推荐系统一般可以分为(1) 基于内容的推荐系统；(2)基于协同过滤的推荐系统；(3)混合推荐系统。针对推荐系统，国内外学者展开了大量的研究，现在主流方法包括使用矩阵分解学习用户和商品的特征表示，使用RNN等神经网络对用户历史行为进行建模等等。

但是这些方法大多存在如下两点缺陷，(1)大多数传统推荐系统，将推荐过程看作是一个静态的过程，一旦模型训练完成，就不会改变。这种做法忽视了用户兴趣的动态变化。现实生活中，用户的兴趣不仅会随着时间变化，还会受到所推荐内容的影响；2)传统推荐系统只考虑当前利益最大化，而忽视了长期回报。

针对上述的问题，本发明提出一种基于强化学习框架的推荐系统离线训练方法。该方法将推荐系统与用户的交互过程看作是一个动态建模的过程，不仅可以有效地捕捉用户兴趣的动态变化，还可以最大化系统的长期回报并有效地减少计算的复杂度，提高了推荐系统的效率。

发明内容

发明目的：本发明的目的是提供一种基于强化学习框架的推荐系统离线训练方法。(1)通过整合矩阵分解和强化学习，对用户对兴趣进行动态捕捉和建模； (2)通过降低计算复杂度以及采用离线训练的方式，使得本发明可适用于大规模的基于评分的推荐系统。

技术方案：为实现上述目的，本发明使用离线训练的方式，首先通过矩阵分解，得到用户和商品的隐向量表示，并实时捕捉用户兴趣的动态变化，然后使用强化学习的框架，使得推荐系统在与用户的交互过程中不断提升性能，并通过整合用户的历史信息，有效地降低了计算的复杂度。其具体的技术方案包括以下几个步骤：

步骤一：建立用户-商品评分矩阵，使用矩阵分解得到隐向量表示。

(1)根据所有用户的历史记录，建立N行M列的全局评分矩阵(N表示用户总数，M表示商品总数)，矩阵中第i行，第j列的元素r_i，j表示用户u_i对商品v_j的评分；

(2)通过隐语义模型LFM矩阵分解得到用户和商品的隐向量表示；

步骤二：使用深度Q网络DQN算法动态更新用户状态，最大化长期回报。

(1)使用DQN算法，选择相应的商品，最大化长期回报

(2)根据用户反馈，实时捕捉用户的兴趣变化

步骤三：结合用户历史信息，降低计算复杂度。

(1)维护一个长度为l的时间窗口，根据时间窗口中历史信息计算用户i的参考向量e_i