[发明专利]一种基于增量贝叶斯算法的主题爬虫方法

说明书

一种基于增量贝叶斯算法的主题爬虫方法，使用增量学习思想训练贝叶斯分类器的步骤，基于增量贝叶斯算法进行在线主题爬虫的步骤：输入初始训练集和增量训练集；对初始训练集和增量训练集进行分词等预处理；根据初始训练集和朴素贝叶斯原理训练出初始分类器，针对增量训练集中的数据，使用初始分类器对样本进行分类，根据分类结果进行分类模型的更新；初始化优先级队列、已访问链接集合、增量贝叶斯分类器，并将初始网页链接加入到优先级队列中；根据网页链接是否含有主题关键词，如果含有，则对增量贝叶斯分类模型进行更新。每次选择优先级队列中优先级最高的网页进行网页下载，重复上述步骤直到满足条件。

技术领域

本发明涉及一种基于增量贝叶斯算法的主题爬虫技术，特别适用于实时增量爬取网页的应用场景

背景技术

网络的庞大性以及复杂性导致网页信息的获取面临着诸多挑战，传统网络爬虫是按照一定的规则，自动地抓取万维网信息的程序或者脚本，从初始网页链接逐渐向整个互联网扩散，主要目的是在一定的时间内获得大量的互联网数据。

在当前网络信息规模呈现指数增长的背景下，传统网络爬虫的使用受到信息采集速度、价值密度、专业程度的限制，返回网页通常伴随着很多无价值信息，无法满足用户的智能化需求。

目前的主题爬虫技术，在计算链接的优先级时，往往是通过锚文本与网页文本的相关度加权得出，此外在分类算法计算文本与主题之间的相关度时，忽略了随着时间推移，原有网页样本空间的分布会有所改变，如果使用不变的分类模型来计算相关度，会使得计算结果有很大的误差，不适用于实际中新数据源源不断到来的场景。

发明内容

本发明所要解决的技术问题是，针对上述问题，本发明提供了一种基于增量贝叶斯算法的主题爬虫：使用增量贝叶斯分类模型计算文本与主题之间的相关度，并根据链接相关信息对增量贝叶斯分类模型进行优化与改进，同时引入链接文本，与锚文本、网页文本共同确定链接的优先级。

为解决上述问题，本发明技术方案是：一种基于增量贝叶斯算法的主题爬虫方法，包括使用增量学习思想训练贝叶斯分类器的步骤，基于增量贝叶斯算法进行在线主题爬虫的步骤：

步骤100，输入初始训练集和增量训练集；

步骤101，对初始训练集和增量训练集进行分词等预处理；

步骤102，根据初始训练集和朴素贝叶斯原理训练出初始分类器，初始分类器主要包含类先验概率p(c_i)和特征的类条件概率p(w_k|c_i)，分类模型公式为：

其中，w_k为样本的第k个特征，c_i为第i个类别。

步骤103，针对增量训练集中的数据，使用初始分类器对样本进行分类，根据分类结果进行分类模型的更新；

步骤104，如果分类结果正确，则类先验概率p(c_i)的更新公式为：

特征的类条件概率p(w_k|c_i)的更新公式为

其中，N为所有文档总数，N_i为类别为c_i的文档总数，w_k为测试样本的第k个特征，d_t为测试样本，c_t为初始分类器预测的类别。

步骤105，如果分类错误，则保持类先验概率不变，特征的类条件概率p(w_k|c_i)的更新公式为