[发明专利]基于垂直搜索和聚焦爬虫技术的网页分类识别系统及方法

权利要求书

1. 一种基于垂直搜索和聚焦爬虫技术的网页分类识别系统，其特征在于所述系统包括应用表示模块、数据采集模块和内容解析模块，所述数据采集模块通过Web协议完成对网页数据的采集，然后将采集到的页面数据交给内容解析模块；所述内容解析模块根据数据采集模块采集的页面数据进行HTML解析，提取页面中的超链接，将超链接加入到URL队列中，得到网址类别和URL的对应关系表；所述应用表示模块接受用户输入关键字进行搜索，将搜索到的特定领域的网址和/或所属的网址类别结果反馈给用户。

2. 一种采用权利要求1的系统进行网页分类识别方法，其特征在于所述方法包括以下步骤：

（1）创建聚焦爬虫进程，聚焦爬虫进程读取预设网址导航站点的URL列表；

（2）数据采集模块从URL列表上取出需要进行数据采集的站点URL，对取得的URL进行网页源码获取；内容解析模块利用垂直搜索技术和聚焦爬虫技术对网页内容解析，获取此站点下的网页类别信息及各个网页类别中对应的网址信息，并将网页类别信息及各个网页类别中对应的网址信息加入到Category列表中；依次循环直至URL列表全部遍历；所述Category列表存储已经识别的URL和其隶属的网址类别。

3. 根据权利要求2所述的方法，其特征在于所述方法步骤（2）当URL列表为空，则遍历直接结束。

4. 根据权利要求2所述的方法，其特征在于所述方法步骤（2）当数据采集模块从URL列表上取出需要进行数据采集的站点URL后，数据采集模块先将需要进行数据采集的站点URL放入未访问URL列表中，当未访问URL列表非空时，从未访问URL列表取出一URL，并对取得的URL进行网页源码获取，并通过内容解析模块对网页源码进行解析，并将该URL加入到已访问URL列表中，并从未访问URL列表中删除该URL。

5. 根据权利要求4所述的方法，其特征在于所述方法步骤（2）中当未访问URL列表为空时，通知聚焦爬虫进程读取预设网址导航站点的URL列表。

6. 根据权利要求4所述的方法，其特征在于所述方法中当从未访问URL列表取出的URL已经访问过，则继续访问未访问URL列表的下一URL。

7. 根据权利要求2所述的方法，其特征在于所述方法步骤（2）内容解析模块进行内容解析的步骤包括：

A1）聚焦爬虫进程抓取取得的URL的网页源文件，然后根据正则表达式定时学习器模式学习得到的网页结构特征利用正则表达式抽取网页的结构化信息；

A2）使用正则表达式从网页的结构化信息中提取符合网址分类信息的新链接；并将新链接加入URL队列中；

A3）从URL队列中取出URL，循环判断此URL是否满足应用表示模块的搜索策略，若满足搜索策略，则将此URL和对应的网址类别加入到网址类别表Category中。

8. 根据权利要求7所述的方法，其特征在于所述方法步骤 A2）所述正则表达式按照广度优先的策略从源文件中抓取新链接。

9. 根据权利要求7所述的方法，其特征在于所述方法步骤 A1）当正则表达式定时学习器不能识别网页结构特征时，直接进行URL队列中是否满足应用表示模块的搜索策略的判断。

10. 根据权利要求7所述的方法，其特征在于所述方法步骤A3）中若不满足搜索策略时，则继续判断URL队列中下一URL是否满足搜索策略的步骤。