[发明专利]一种基于Flink的矩阵分解隐式反馈推荐方法和系统

说明书

本发明公开了一种基于Flink的矩阵分解隐式反馈推荐方法，提出了一种基于用户活跃度与项目流行度的矩阵分解隐式反馈推荐模型，并采用一种基于单个元素坐标下降的学习方法来进行模型的训练，相对于目前流行的分配缺失值统一权重的矩阵分解隐式反馈推荐方法(WMF)而言，不仅提高了方法的预测准确率，同时降低了方法执行的时间复杂度。另外为了解决大数据环境下离线批处理过程时模型训练效率低和实时流处理场景下模型不能在线更新导致推荐精度下降的问题，本发明采用一种分块的矩阵划分策略，并采用一种路由表的策略来缓存需要通过网络传输的数据信息，使得方法能够高效并行化实现的同时，产生较小的通信开销，且该并行方法具备良好的扩展性。

技术领域

本发明属于推荐系统与分布式计算的交叉技术领域，更具体地，涉及一种基于Flink的矩阵分解隐式反馈推荐方法和系统。

背景技术

推荐系统向用户提供他们感兴趣事物的个性化推荐，提供用户想要搜寻的信息。但是随着信息技术的快速发展，数据的规模剧增，工业隐式反馈推荐数据的规模已经达到百亿级别，且不断地有大量新数据产生，这对隐式推荐算法的准确率、模型训练复杂度以及模型实时更新能力都提出了巨大的挑战。随着云计算的发展，云计算平台提供了强大的并行计算能力，但是并不是所有的隐式反馈推荐算法都能够高效在云平台上并行实施，因此如何利用现有云平台下的计算资源来设计一种准确、高效以及能够在线进行模型更新的并行隐式反馈推荐算法具有很大的应用价值。

现有云平台下的并行隐式反馈推荐算法，通常采用一种分配缺失数据一致权重的矩阵分解模型，通过将用户对项目稀疏评分矩阵映射到低维的用户和项目潜在因子空间，然后内积用户和项目的潜在因子特征向量来预测未知评分信息，并采用一种分块的矩阵划分策略来在云平台上并行化实施，该策略通过将原始评分矩阵、用户特征向量矩阵和项目特征向量矩阵分块并分配到云平台中不同机器中去来实现并行计算。

然而，上述现有的并行隐式反馈推荐算法存在一些不能忽略的技术问题：

1、该方法是将所有缺失数据都当作负反馈数据，并给所有缺失数据分配统一的权重，这种做法不能有效反应负反馈数据的真实情况，从而影响推荐精度；

2、该方法通常采用交替最小二乘法(Alternating Least Square，简称ALS)实现学习过程，其时间复杂度较高，模型并行训练的效率较低；

3、该方法无法实现模型的在线更新，从而导致实时推荐的精度下降。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于Flink的矩阵分解隐式反馈推荐方法，其目的在于，解决现有大数据平台上并行隐式反馈推荐方法中存在的推荐精度低、模型训练时间长、且无法实现模型的在线实时更新的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于Flink的矩阵分解隐式反馈推荐方法，包括以下步骤：

(1)使用Flink数据源接口获取用户历史隐式反馈数据，并对该历史隐式反馈数据进行预处理，以得到处理后的历史隐式反馈数据；

(2)根据步骤(1)处理后的历史隐式反馈数据构建矩阵分解模型，利用构建的矩阵分解模型对历史隐式反馈数据进行处理，以生成训练好的用户特征向量矩阵Dataset_umf、项目特征向量矩阵Dataset_imf、以及用户的离线推荐列表；

(3)使用Flink实时数据源接口从用户获取实时隐式反馈数据，并对该实时隐式反馈数据进行预处理，以得到处理后的实时隐式反馈数据，并利用处理后的实时隐式反馈数据、训练好的用户特征向量矩阵Dataset_umf、以及项目特征向量矩阵Dataset_imf对矩阵分解模型进行实时更新，并利用更新后的模型生成用户的实时推荐列表。