[发明专利]用于深层网页数据源集成的数据源发现方法

说明书

技术领域

本发明涉及一种基于网络的数据源的发现方法，具体涉及一种由网络查询接口连接的深层网页的数据源发现方法，用于深层网页数据源的集成。

背景技术

随着网络数据库的广泛应用，网络正在加速“深化”。互联网上有大量页面是由后台数据库动态产生，这部分信息不能直接通过静态链接获取，只能通过填写表单提交查询来获取，由于传统的网络爬虫(Crawler)不具有填写表单的能力，无法获取这些页面。因此，现有的搜索引擎搜索不出这部分页面信息，从而导致这部分信息对用户是隐藏、不可见的，我们称之为深层网络页面(Deep Web，又称为Invisible Web，Hidden Web)。Deep Web是一个与SurfaceWeb相对应的概念，最初由Dr.Jill Ellsworth于1994年提出，指那些由普通搜索引擎难以发现其信息内容的网络页面。Deep Web信息一般存储在数据库中，和静态页面相比通常信息量更大，主题更专一，信息质量更好，信息结构化更好，增长速度更快。研究表明，Deep Web信息是Surface Web信息的500倍，有近450,000个Deep Web站点。实现大规模Deep Web数据集成是方便用户使用Deep Web信息的一个有效途径。

要实现大规模Deep Web集成搜索，需要解决：1)数据源发现(Deep WebDiscovery)；2)查询接口抽取(Query Interface Extraction)；3)数据源分类(Source Classification)；4)查询转换(Query Transfer)；5)结果合成(ResultMerging)等五个关键问题。

对Deep Web进行分类集成搜索的前提是获取Deep Web查询接口，这属于数据源发现的范畴。

K.C.-C.Chang，B.He，Z.Zhang在Toward Large-Scale Integration：Building a MetaQuerier over Databases on the Web一文中(Conference onInnovative Data Systems Research，Asilomar，2005)，公开了一种从网络中获取查询接口的方法，其首先收集提供WWW服务的IP地址列表，然后对于列表中每个IP地址，按照宽度优先策略依次抓取一定深度范围内的网页，并从下载的页面中提取可查询接口。但是，由于互联网中含有查询接口的页面比例很小，而宽度优先是一种盲目的搜索策略，采用这种方法会下载大量无关的页面，效率非常低。

解决这个问题的有效手段是采用聚焦爬行(Focused Crawling)技术。目前把聚焦爬虫技术应用到Deep Web数据源发现中的研究还比较少。有学者使用链接分类器来优先下载那些最可能指向含有查询接口的页面。在训练分类器过程中，其使用Google等搜索引擎来得到指向内层页面的所有外层页面，但是这种方法的缺点是：越到外层，页面的数量就越多，并且很多是无关的页面，所以会造成“主题漂移”等问题。而且上述方法无法得到某页面在其所属站点中准确的深度信息，从而无法很好地控制爬行的进程。

发明内容

本发明目的是提供一种用于深层网页数据源集成的数据源发现方法，以根据所设定的主题，实现主题相关的数据查询接口的检索下载，减小页面下载数量，解决主题漂移问题。

为达到上述目的，本发明采用的技术方案是：一种用于深层网页数据源集成的数据源发现方法，包括下列步骤：

(1)提供待查询数据的主题，分别构建站点根链接队列和本地链接队列，在站点根链接队列中放入至少一个种子根链接地址，并根据其与主题的关系给定权重；

(2)如果本地链接队列为空，则从站点根链接队列中取权重最大的一个根链接地址，放入本地链接队列中；从本地链接队列中取评分最高的页面链接，由爬行模块下载该页面；

(3)利用表单分类器对步骤(2)下载的页面进行处理，如其中含有表单查询接口，则将其加入深层网页数据源中；

(4)利用页面分类器对步骤(2)下载的页面进行处理，所述页面分类器采用最优者优先(best-first)策略进行主题判断，如果主题评分小于设定阈值，则返回步骤(2)；