[发明专利]IT资讯聚合阅读个性化推荐方法

说明书

本发明公开一种IT资讯聚合阅读个性化推荐方法，通过网络爬虫定向爬取IT相关的资讯，通过SVM算法对爬取数据进行分类，通过对用户行为的分析，结合文章本身的属性对用户进行个性化推荐。在海量数据中提取出关于IT的资讯，并对其进行精准分类，解决了互联网信息杂乱的缺点；通过分析用户行为，针对用户进行个性化文章推荐，大大节省了用户的时间，快速了解到自己想要的资讯。

技术领域

本发明提供了一种基于文本挖掘的IT资讯聚合阅读个性化推荐方法，涉及网络爬虫，文本分类，文本挖掘以及文章推荐等核心技术与算法，高效地进行资讯梳理和个性化推荐。

背景介绍

随着互联网技术的发展，海量信息时代已经来临，各类信息充斥于互联网，然而每个人感兴趣的信息只是其中很少的一部分，寻找感兴趣的资讯变得越来越困难。

另一方面，互联网资讯类网站众多，很多信息都是重复的，一个热点事件爆发，各家网站争相报道讨论，如果靠个人去区分一条资讯的好坏将会浪费很多时间。

互联网的发展，大数据的兴起，越来越多的人去关注IT资讯，同时关于IT的资讯也大量增多，辨别与关注这些信息中的实时热点话题越来越困难。

发明内容

本发明的目的在于针对如今互联网信息的繁杂，提供一种基于网络爬虫、文本挖掘和推荐算法的IT资讯聚合阅读个性化推荐方法。

本发明的目的是通过以下技术方案来实现的：一种基于文本挖掘的IT资讯聚合阅读个性化推荐方法，通过网络爬虫定向爬取IT相关的资讯，通过SVM算法对爬取数据进行分类。通过对用户行为的分析，结合文章本身的属性对用户进行个性化推荐。具体包括以下步骤：

(1)采用网络爬虫的方式定向爬取IT相关资讯，根据当前热点网站，本发明选取了“虎嗅”、“站长网”等十余个相关网站去爬取相关资讯，然后对爬取数据进行数据清洗、文章分词得到预处理后的文章，存储到数据库。

(2)文章分类，在分类前，先由人工确定具体类别以及该类别对应的关键字，分类阶段采用SVM算法对文章进行分类。分类过程分为以下两个阶段。

模型训练阶段：人工在数据库文章表中挑选各类别对应的训练集，读取数据库中文章的内容信息，根据内容信息创建语料库，进行卡方检验，在卡方检验中设定阈值ε，挑选结果值大于阈值ε的特征词，ε可取3.8。根据选好的特征词创建文章VSM模型，将VSM模型转换为SVM模型所需的输入参数，调用SVM模型进行训练，所述SVM模型可选用来源于台湾大学林智仁教授的开发的R语言包e1071。通过训练得到训练成功的SVM模型，将模型保存为本地文件。

文章分类阶段：读取未分类文章，经过分词，去停止词操作后将文章转化为VSM模型，然后调用已经训练好的SVM模型进行训练，并将预测结果存入数据库中。

(3)文章分类质量打分，在文章分类结束之后，对分类质量进行打分，分类质量在一定程度上影响推荐结果。分类质量打分需要考虑以下两个因素：文章来源网站SITE_WEIGHT，文章标题关键字在其所对应类别关键字列表中出现的次数NUM。根据文章来源网站不同，SITE_WEIGHT取值在1到3之间，次数NUM对应的权重NUM_WEIGHT为3，基于以上各因素，文章分类质量得分G计算公式如下：G＝SITE_WEIGHT+3*NUM。

(4)相似文章检测，由于对于一个热点新闻，很多文章都是相似的，识别方法如下：根据步骤1的文章分词结果，计算文章的simhash值，将更新的文章两两进行海明距离D计算，同时和前一天文章的集合进行海明距离D计算，D＝‐1表示题目相同，0≤D≤2表示simHash值意义下的相似文章，3≤D表示一般文章。当D<3时，认为两篇文章相似，推荐时是不会被同时推荐。