[发明专利]一种新闻评论页面的爬取方法及系统

权利要求书

1.一种新闻评论页面的爬取方法，包括以下步骤：

(A)获取新闻网站中的页面；

(B)从获取的页面中识别出新闻评论页面；

(C)获取新闻评论页面中的翻页链接，并根据翻页链接获取其他新闻评论页面。

2.如权利要求1所述的新闻评论页面的爬取方法，其特征在于，步骤(A)中获取新闻网站中页面的过程包括以下步骤：

(A1)指定起始页面的URL和深度限制deep，初始化第一队列和第二队列；所述URL为统一资源定位符；

(A2)添加起始页面URL至第一队列队尾和第二队列队尾；

(A3)取出第一队列队首URL，判断当前URL对应的页面相对于起始页面的深度level；如果level＞deep，则输出第二队列并转至步骤(B)；否则获取当前URL对应页面的Html文本并从中提取URL链接地址集合S以及指向链接地址对应页面的Html文本；

(A4)取出集合S中一个未被取出过的URL，判断该URL在第二队列中是否存在；如果存在，则取出下一个未被取出过的URL继续判断，直到判断完S中的所有URL后转至步骤(A3)；否则，将该URL地址添加至第一队列队尾，转至步骤(A3)。

3.如权利要求2所述的新闻评论页面的爬取方法，其特征在于，步骤(B)中识别新闻评论页面的过程包括以下步骤：

(B1)获得第二队列，判断第二队列是否为空；如是，则转至步骤(C)；

(B2)取出第二队列队首URL，提取该URL对应的页面，根据预设特征值计算规则计算该页面的特征值T；

(B3)判断该页面的特征值T是否大于预设阈值Limit；如果T＞Limit，则输出该页面为新闻评论页面，并判断该页面的URL在第三队列中是否存在，如果不存在，则将其添加至第三队列的队尾，转至步骤(B1)。

4.如权利要求3所述的新闻评论页面的爬取方法，其特征在于，步骤(B2)中，根据预设特征值计算规则计算页面的特征值T的过程包括以下步骤：

(B2_1)判断页面URL中是否包括“comment”或“liuyan”，如是，则页面URL的特征值Score_URL为1；否则，为0；

(B2_2)根据如下规则计算指向页面的链接文本的特征值Score_Keyword；

链接文本中包含“评论”，特征值加24.5；

链接文本中包含“跟帖”或者“留言”或者“点评”，特征值加22.5；

链接文本中包含“说”和“句”，特征值加4；

链接文本中包含“说”和“我”，特征值加4；

链接文本中包含“网友”，特征值加4；

链接文本中包含“发布”或者“查看”或者“点击”，特征值加10；

链接文本中包含“查看”和“点击”，特征值加110；

链接文本中包含“已有”或者“全部”或者“所有”或者“其它”，特征值加10；

(B23)页面的特征值T＝Score_URL×8+Score_Keyword。

5.如权利要求3所述的新闻评论页面的爬取方法，其特征在于，步骤(C)中所述获取新闻评论页面的翻页链接，并根据翻页链接获取其他新闻评论页面的过程包括以下步骤：

(C1)获得第三队列，判断第三队列是否为空；如是，则结束；

(C2)取出第三队列的队首URL，获取该URL对应页面的Html文本；

(C3)从Html文本中取出链接文本为“下一页“的链接对应的URL；

(C4)判断该链接对应的URL是否与当前页面的URL存在公共前缀；如是，则输出该链接对应的URL对应的页面为新闻评论页面，并添加该链接对应的URL至第三队列队尾，转至步骤(C1)；否则，直接转至步骤(C1)。

6.如权利要求5所述的新闻评论页面的爬取方法，其特征在于，步骤(C4)中，判断链接对应的URL是否与当前页面的URL存在公共前缀的过程包括以下步骤：

(C4_1)将字符串序列S1和S2置空；

(C4_2)以“/”为分隔符分割链接对应的URL，将分割后的部分按序存入S1；以“/”为分隔符分割当前页面的URL，将分割后的部分按序存入S2；

(C4_3)判断S1和S2的第一个元素是否相同；如是，则两个URL存在公共前缀；否则，两个URL不存在公共前缀。