[发明专利]一种面向用户的WEB信息自动提取方法

说明书

技术领域

本发明涉及文本处理技术领域，尤其是一种面向用户的WEB信息自动提取方法。

背景技术

本发明涉及文本处理技术领域，如何在海量的WEB信息中快速而又准确地获取信息成为当前的研究热点，特别是从用户关注的站点中自动提取信息，并快速定位信息内容已经得到广泛关注。现有的信息提取方法，主要有基于主题和关键词的WEB信息自动提取方法，以及基于查询的WEB信息采集技术，面向主题、关键词以及基于查询的WEB信息采集都是有选择性地提取特定内容的WEB页面，采集的页面单一，不能满足用户所关注的所有WEB站点信息的自动提取。

发明内容

本发明提出了一种面向用户的WEB信息自动提取方法。本发明能分析用户关注的站点列表，能够从大量的WEB页面中提取用户关注的信息，并且能快速定位用户所关注的内容，以提高用户获取信息的效率。

为了达到上述目的，本发明所采用的技术方案为：

一种面向用户的WEB信息自动提取方法，包括以下步骤：

(1)根据用户给定的WEB站点链接列表，依次遍历每个WEB站点，获得用户关注页面；

(2)识别WEB站点中每个页面的链接地址并存储；

(3)提取用户关注页面的标题、发布时间、页面正文；

(4)将提取的内容格式规范化后存储于数据库和文件系统中，其中页面标题、发布时间存储于数据库中，页面正文存储于文件系统中；、

(5)去除抽取的重复信息；

进一步的，所述步骤(1)中，用户给定的链接列表为用户手动输入或从系统默认的WEB站点列表中选择获得。

进一步的，所述步骤(2)识别连接地址并存储具体包括以下步骤：

2a)对于每个WEB站点，以一个URL作为信息来源，根据HTML文档的DOM树结构获 得相应WEB页面的HTML源代码，再根据WEB页面的编码格式获得WEB页面的分页链接格式，根据分页链接格式获得分页的全部链接地址，再根据分页链接地址获得所有分页的HTML源代码；

2b)依次获取用户关注的WEB站点列表中每个URL，连接并解析相应页面，提取页面中所有链接地址后，逐个判断这些链接是否为网站内部链接，且是否已存在于待检索链接队列或已检索链接队列中，如果某一链接被判定为该网站内部链接，且不存在于待检索链接队列与已检索链接队列中，则将该链接地址存入待检索链接队列，否则不对该链接地址进行操作，直接获取下一个链接进行判断；

2c)在该页面所有链接处理完毕后，系统将从待检索链接队列中取出下一个链接地址替代用户关注的WEB站点的首页链接地址，重复步骤2a)到2b)，处理完毕后，将该链接存入已检索链接队列，然后继续从待检索链接队列中提取下一链接地址，如此循环，直到待检索链接队列为空，则结束当前站点的检索工作，开始对下一站点进行检索。

更进一步的，所述步骤(3)具体包括以下步骤：

3a)提取标题,从目标链接队列中逐个提取信息链接地址，并对该链接地址进行连接与页面解析，过滤出该页面HTML文档中的<title>标签，提取出符合要求的节点存入节点列表，然后获取节点的显示文本信息，并对所提取的信息进行适应性修改；

3b)提取正文，提取主体内容，过滤出HTML文档中的<p>节点、<div>节点、<div>节点作为先辈节点的节点、<a>节点以及拥有后代节点<a>的节点；

3c)提取发布时间，当页面解析完成后通过正则表达式匹配法提取出信息发布时间。

再进一步的，所述步骤(5)去除抽取重复的信息具体为：对一个信息站点进行过一次采集后，为了避免对已采集信息的重复采集，仅对新产生的页面进行采集，提取信息基本属性后，在数据库中查询该信息是否存在，如果存在，直接提取下一信息链接进行操作，否则，将该条信息存入。

附图说明

图1为本发明面向用户的WEB信息自动提取方法的流程图。

具体实施方式

下面将结合说明书附图，对本发明作进一步说明。

如图1所示，一种面向用户的WEB信息自动提取方法，包括以下步骤：