[发明专利]一种基于大数据的资讯推荐方法、系统及装置

说明书

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于大数据的资讯推荐方法、系统及装置。

背景技术

随着互联网的普及以及技术的发展，各种各样信息发布平台逐步出现在人们的视野当中，使得人们获取资讯的方式更加简单，方法更加多样，拉近了媒体与人们的距离。与此同时，每天产生大量的资讯也带来了信息爆炸的问题。虽然人们每天都能轻易地获取大量的资讯，但却很容易变得迷茫。因为从复杂大量的信息中获取对自己有用的资讯变得很难，成本非常高。若采用经典的协同过滤算法对资讯进行过滤，对于大量的数据来说，准确性不高。而且一般采用传统方法收集用户行为数据的代价很高，很难做到及时。

发明内容

为了解决上述技术问题，本发明的目的是提供一种能及时采集数据，且准确性较高的基于大数据的资讯推荐方法、系统及装置。

本发明所采取的技术方案是：

一种基于大数据的资讯推荐方法，包括以下步骤：

采集用户行为数据并对其进行分析，得到资讯集数据以及用户行为分析数据；

对资讯集数据进行预处理，得到语料库；

对得到的语料库进行LDA建模；

通过分布式Gibbs Sampling对资讯集数据进行采集处理，得到训练集，进而得到主题分布概率矩阵；

根据训练集和主题分布概率矩阵，通过Logistic回归算法计算每篇新的资讯文档的权重得分；

将权重得分最高的n篇资讯文档对用户进行推荐，其中，n为预设值。

作为所述的一种基于大数据的资讯推荐方法的进一步改进，所述的采集用户行为数据并对其进行分析，得到资讯集数据以及用户行为分析数据，这一步骤具体包括：

采集日志并进行分类处理，得到用户行为日志；

根据用户行为日志，采集得到用户行为数据；

对资讯文档进行分类并存储；

通过聚类方法对兴趣相似的用户进行分类；

对需要推荐的该类的用户，对浏览过的资讯文档标记为1，对未浏览过的资讯文档标记为0，得到浏览资讯集和未浏览资讯集，即得到资讯集数据；

获取资讯集中每个资讯文档的ID，并获取每个资讯文档的用户停留时间，得到用户行为分析数据。

作为所述的一种基于大数据的资讯推荐方法的进一步改进，所述的对资讯集数据进行预处理，得到语料库，这一步骤具体包括：

对资讯集数据中的资讯文档进行分词处理，并对未登录词进行识别，得到资讯文档中的词；

将得到的词根据预设的停留词表进行去停留词处理，得到语料库。

作为所述的一种基于大数据的资讯推荐方法的进一步改进，所述的对得到的语料库进行LDA建模，这一步骤具体包括：

根据语料库，进行LDA建模得到LDA模型；

对LDA模型中的参数进行优化计算；

根据建立的LDA模型进行参数估计。

作为所述的一种基于大数据的资讯推荐方法的进一步改进，所述的根据语料库，进行LDA建模得到LDA模型，这一步骤具体表现为：

其中，主题分布θ服从超参数为α的狄利克雷，词分布服从超参数为β的狄利克雷分布，词w服从参数为θ的主题分布，主题编号z服从参数为的多项式分布。

作为所述的一种基于大数据的资讯推荐方法的进一步改进，所述的对LDA模型中的参数进行优化计算，这一步骤的具体计算公式为：

其中，表示优化后的参数α，表示优化后的参数β，α_k表示优化前的参数α，β_t表示优化前的参数β，为Digamma函数，表示求变量x的对数的导数，n_ik表示第i篇文章，主题为k的文档计数，n_kt表示主题编号为k的词t的计数，且n_i＝∑_kn_ik，n_k＝∑_tn_kt。

作为所述的一种基于大数据的资讯推荐方法的进一步改进，所述的根据建立的LDA模型进行参数估计，这一步骤的具体计算公式为：

其中，表示主题k下词t的分布概率，θ_m，k表示为第m篇文档主题为k的分布概率，表示主题k下关于词t的计数，表示第m篇文档下关于词t的计数，α_t表示关于词t的参数α，β_t表示关于词t的参数β。