[发明专利]一种基于增量贝叶斯算法的主题爬虫方法

权利要求书

1.一种基于增量贝叶斯算法的主题爬虫方法，其特征在于：使用增量学习思想训练贝叶斯分类器的步骤，基于增量贝叶斯算法进行在线主题爬虫的步骤，

所述使用增量学习思想训练贝叶斯分类器的具体步骤为：

步骤100，输入初始训练集和增量训练集；

步骤101，对初始训练集和增量训练集进行分词预处理；

步骤102，根据初始训练集和朴素贝叶斯原理训练出初始分类器，初始分类器主要包含类先验概率p(c_i)和特征的类条件概率p(w_k|c_i)，分类模型公式为：

其中，w_k为样本的第k个特征，c_i为第i个类别；

步骤103，针对增量训练集中的数据，使用初始分类器对样本进行分类，根据分类结果进行分类模型的更新；

步骤104，如果分类结果正确，则类先验概率p(c_i)的更新公式为：

特征的类条件概率p(w_k|c_i)的更新公式为

其中，N为所有文档总数，N_i为类别为c_i的文档总数，w_k为测试样本的第k个特征，d_t为测试样本，c_t为初始分类器预测的类别；

步骤105，如果分类错误，则保持类先验概率不变，特征的类条件概率p(w_k|c_i)的更新公式为

步骤106，输出并保存模型至主题爬虫的存储系统；

基于增量贝叶斯算法进行在线主题爬虫的具体步骤为：

步骤200，给定初始网页链接、待爬取主题和主题关键词；

步骤201，初始化优先级队列PriorityQueue、已访问链接集合VisitedList、增量贝叶斯分类器，并将初始网页链接加入到优先级队列中；

步骤202，取PriorityQueue队列中优先级最高的链接，下载网页的同时将链接加入到VisitedList集合中；

步骤203，从网页中提取标题、内容、发布时间信息，并存入数据库中；

步骤204，提取网页中包含的超链接，计算超链接的优先级并加入到PriorityQueue队列中，超链接优先级的计算公式为：

L(μ)＝F(url)·(λ·Score(anchor_text)+(1-λ)·Score(page_text))

其中，anchor_text为锚文本，page_text为网页文本，Score()函数为计算文本与主题之间的相关度函数，即使用增量贝叶斯分类器计算文本的主题相关度，url为超链接字符串，F(url)函数则是根据url文本是否含有与主题关键词的计算函数；

步骤205，根据网页链接是否含有主题关键词，如果含有，则对增量贝叶斯分类模型进行更新，更新见步骤103-105；

步骤206，重复步骤202-205，直到满足条件为止。

2.根据权利要求1所述的基于增量贝叶斯算法的主题爬虫方法，其特征在于：通过锚文本、网页文本以及链接文本共同确定链接优先级。

3.根据权利要求1所述的基于增量贝叶斯算法的主题爬虫方法，其特征在于：将主题相关度计算建模成分类问题。