[发明专利]一种面向推荐系统的改进协同过滤算法

说明书

本发明属于在电影推荐系统应用领域，提出了一种面向推荐系统的改进协同过滤算法，在基于协同过滤的算法基础上，针对其存在的冷启动问题和稀疏性问题，提出了一种融合知识图谱和协同过滤的推荐算法，将知识图谱中的语义信息作为辅助信息融入到协同过滤算法中，降低了算法对于评分的依赖程度；同时，本发明提出一种三元组的存储结构来存储稀疏矩阵，可以有效缓解传统的二维稀疏矩阵带来的空间浪费的问题，提高了推荐算法的空间效率，并使用hash算法存储三元组，提高了对于某个三元组的访问速度以及存取效率；并且，本发明采用分布式计算，解决了数据集过大而导致的执行时间过长的问题，利用Spark的基于内存的并行计算，极大地缩短了算法的执行时间。

技术领域

本发明属于在电影推荐系统应用领域，提出了一种面向推荐系统的改进协同过滤算法。

背景技术

随着互联网技术的高速发展，全球数据量呈爆炸式增长。互联网上信息的急剧增长，一方面使人们获取的信息资源越来越丰富，给人们带来极大的便利；另一方面，面对海量的信息资源，人们不得不花费更多的时间和精力去搜寻对其有帮助的信息，因此“信息超载(Information Overload)”现象越来越严重。推荐系统可以有效地解决信息超载问题，它根据用户的特征，为用户推荐符合其需求的项目对象，实现个性化服务。推荐系统的优点在于，它能主动收集用户的特征资料，通过对用户个性、习惯、偏好的分析，为用户提供其感兴趣的项目；同时能及时根据用户的需求变化，自动调整推荐的内容。

目前主流的个性化推荐算法包括基于内容的推荐、基于协同过滤的推荐、基于关联规则的推荐、基于社交网络的推荐、基于深度学习的推荐等。

传统协同过滤算法是目前推荐领域使用最为广泛的算法之一，但评分矩阵稀疏性问题一直是影响其推荐精度的关键。比如我们在购物网站(如淘宝，京东等)上购买了一件商品，但是部分用户在体验商品后并未给出评价或评分；再比如许多电影门户网站(如爱奇艺、优酷、哔哩哔哩等)都有电影评分的功能，但是部分用户习惯于看完电影后不给出评分；诸如此类的场景下，用户-项目矩阵中的评分信息就会非常少，直观表现即该矩阵是一个典型的稀疏矩阵，而基于该矩阵的协同过滤算法会因为矩阵的稀疏性导致最终推荐的准确率不高，所以协同过滤算法在提升用户体验的同时也存在一些问题，如冷启动问题、矩阵的稀疏性问题、稀疏性问题引发的存储空间浪费的问题以及随着数据集的增大，算法的执行时间过长导致的用户体验度下降的问题。

发明内容

发明目的：第一，针对协同过滤存在的冷启动问题和稀疏性问题，提出了一种融合知识图谱和协同过滤的推荐算法。知识图谱能够根据电影本身的语义信息找到潜在的相似电影，可以将其作为辅助信息融入到协同过滤推荐算法中，降低推荐算法对于评分信息的依赖程度，从而提高推荐算法的可用性和准确率；第二，提出一种三元组的存储结构来存储稀疏矩阵，可以有效缓解传统的二维稀疏矩阵带来的存储空间浪费的问题，提高了推荐算法的空间效率，并且使用hash算法存储三元组，提高了对于三元组中的某个元素的访问速度以及存取效率。第三、采用分布式计算，提高了协同过滤推荐算法的执行效率，解决了数据集过大而导致的算法执行时间过长的问题，利用Spark的基于内存的并行计算，极大地缩短了算法的执行时间，提升了用户体验。

技术方案：为了实现上述目的，本发明采用如下的技术方案：

一、算法主要流程

步骤1:数据集构建：将文件形式的数据集拆分转换到数据库并进行预处理，转换成算法可直接使用的形式。

步骤2:优化存储方案：采用三元组的方式存储稀疏矩阵中的有效值；

步骤3:该步骤分为两部分

第一部分：基于知识图谱的推荐算法的主要步骤，其中包括：

(1)构建电影知识图谱：根据电影的评分、标签等基本信息构建电影知识图谱；

(2)学习电影的内涵语义知识：根据构建出的知识图谱，学习电影的内涵语义知识；