[发明专利]基于卷积神经网络的分布式实时推荐系统

说明书

本发明公开了一种基于卷积神经网络的分布式实时推荐系统，包括：用户交互模块，负责实现系统和用户的交互以及业务数据的展示；数据存储模块：负责平台业务逻辑数据的存储和支撑实时推荐系统部分对于在线数据的获取需求；离线推荐模块：使用神经协同过滤推荐算法对用户行为数据进行训练，生成离线推荐结果；在线推荐模块：从数据存储模块获取用户行为数据并使用实时推荐算法得到在线推荐结果。本发明采用计算框架Spark加速用户特征模型的训练过程，各模块之间的数据流通过Spark RDD的转换来实现，离线推荐模块使用神经协同过滤算法提高离线推荐结果的准确性，结合在线推荐算法能有效提高推荐结果的准确性和实时性。

技术领域

本发明涉及机器学习、协同过滤算法和Spark分布式计算框架，具体涉及一种基于卷积神经网络的分布式实时推荐系统。

背景技术

随着互联网技术的飞速发展，用户在面对互联网上海量信息时，难以迅速有效地找到自己想要的内容，这就形成了网络信息过载。面对海量的数据，传统的搜索引擎以难以满足用户的需求，在这样的背景下，推荐系统技术应运而生。推荐系统与传统搜索引擎最大不同之处在于，搜索引擎是用户去寻找信息，推荐系统的作用是让用户感兴趣的信息呈现在用户的面前。

协同过滤推荐(Collaborative Filtering recommendation)是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。与传统的基于内容过滤直接分析内容进行推荐不同，协同过滤分析用户兴趣，在用户群中找到指定用户的相似(兴趣)用户，综合这些相似用户对某一信息的评价，形成系统对该指定用户对此信息的喜好程度预测。与传统文本过滤相比，协同过滤有下列优点：能够过滤难以进行机器自动基于内容分析的信息，如艺术品、音乐；能够基于一些复杂的，难以表达的概念(信息质量、品位)进行过滤；推荐的新颖性。缺点包括：用户对商品的评价非常稀疏，这样基于用户的评价所得到的用户间的相似性可能不准确(即稀疏性问题)；随着用户和商品的增多，系统的性能会越来越低；如果从来没有用户对某一商品加以评价，则这个商品就不可能被推荐(即最初评价问题)。

用户评分矩阵的数据稀疏会影响到生成的相似度矩阵的精确度，进而影响利用相似度矩阵进行在线推荐的推荐模块所产生的在线推荐结果的精度；

在真实网络环境下，用户兴趣是不断变化的，如何根据变化的用户数据更新推荐结果，即在线处理流式数据是实时推荐系统不可避免的问题。

卷积神经网络的概念最早出自19世纪60年代科学家提出的感受野(ReceptiveField37)。当时科学家通过对猫的视觉皮层细胞研究发现，每一个视觉神经元只会处理一小块区域的视觉图像，即感受野。卷积神经网络对数据的处理主要分为三大部分：卷积、池化、全连接。卷积层的作用是提取特征信息，不同的卷积核可以提取出不同的特征信息，又称为特征图。池化层的作用是对卷积层提取的特征信息进行特征压缩，去除冗余的特征信息，降低计算量的同时防止过拟合。全连接层的作用是对特征压缩后的特征信息进行整合，并映射到对应的标签。

发明内容

发明目的：针对现有技术存在的问题，本发明的目的是提供一种基于卷积神经网络的分布式实时推荐系统，用卷积神经网络来改进协同过滤算法，以缓解协同过滤算法的稀疏性问题，提升推荐精度，最后将其应用于框架中的离线推荐模块，以提升系统的离线和在线推荐精度。