[发明专利]一种基于Flink的矩阵分解隐式反馈推荐方法和系统

摘要

本发明公开了一种基于Flink的矩阵分解隐式反馈推荐方法，提出了一种基于用户活跃度与项目流行度的矩阵分解隐式反馈推荐模型，并采用一种基于单个元素坐标下降的学习方法来进行模型的训练，相对于目前流行的分配缺失值统一权重的矩阵分解隐式反馈推荐方法(WMF)而言，不仅提高了方法的预测准确率，同时降低了方法执行的时间复杂度。另外为了解决大数据环境下离线批处理过程时模型训练效率低和实时流处理场景下模型不能在线更新导致推荐精度下降的问题，本发明采用一种分块的矩阵划分策略，并采用一种路由表的策略来缓存需要通过网络传输的数据信息，使得方法能够高效并行化实现的同时，产生较小的通信开销，且该并行方法具备良好的扩展性。

主权项

1.一种基于Flink的矩阵分解隐式反馈推荐方法，其特征在于，包括以下步骤：(1)使用Flink数据源接口获取用户历史隐式反馈数据，并对该历史隐式反馈数据进行预处理，以得到处理后的历史隐式反馈数据；(2)根据步骤(1)处理后的历史隐式反馈数据构建矩阵分解模型，利用构建的矩阵分解模型对历史隐式反馈数据进行处理，以生成训练好的用户特征向量矩阵Dataset_umf、项目特征向量矩阵Dataset_imf、以及用户的离线推荐列表；(3)使用Flink实时数据源接口从用户获取实时隐式反馈数据，并对该实时隐式反馈数据进行预处理，以得到处理后的实时隐式反馈数据，并利用处理后的实时隐式反馈数据、训练好的用户特征向量矩阵Dataset_umf、以及项目特征向量矩阵Dataset_imf对矩阵分解模型进行实时更新，并利用更新后的模型生成用户的实时推荐列表。