[发明专利]用于深层网页数据源集成的数据源发现方法

权利要求书

1.一种用于深层网页数据源集成的数据源发现方法，其特征在于，包括下列步骤：

(1)提供待查询数据的主题，分别构建站点根链接队列和本地链接队列，在站点根链接队列中放入至少一个种子根链接地址，并根据其与主题的关系给定权重；

(2)如果本地链接队列为空，则从站点根链接队列中取权重最大的一个根链接地址，放入本地链接队列中；从本地链接队列中取评分最高的页面链接，由爬行模块下载该页面；

(3)利用表单分类器对步骤(2)下载的页面进行处理，如其中含有表单查询接口，则将其加入深层网页数据源中；

(4)利用页面分类器对步骤(2)下载的页面进行处理，所述页面分类器采用最优者优先策略进行主题判断，如果主题评分小于设定阈值，则返回步骤(2)；

(5)提取页面中的链接地址，用链接分类器判断链接地址是否有可能指向含有表单接口的页面，并给该链接评分，所述链接分类器判断方法为，提取锚文本、链接上下文文本、链接地址、链接中的图片地址作为特征，进行信息分词并统计词频，得到该链接的特征向量X，采用朴素贝叶斯方法对链接信息进行分类；对于评分大于设定值的链接，如为本地链接，则放入本地链接队列，如为外部站点链接，则搜索站点根链接队列，存在对应的站点根链接时，根据该链接的评分调整站点根链接的权重，不存在对应的站点根链接时，则将该链接的站点根链接加入站点根链接队列，并根据评分设定根链接的权重；

(6)重复步骤(2)至步骤(5)，实现深层网页数据源的自动爬行。

2.根据权利要求1所述的用于深层网页数据源集成的数据源发现方法，其特征在于：所述步骤(5)中，对于本地链接，如果链接深度大于3时，则抛弃，不放入本地链接队列。

3.根据权利要求1所述的用于深层网页数据源集成的数据源发现方法，其特征在于：所述步骤(4)中，先采用页面实例对页面分类器进行训练，然后对于从爬行模块得到的新页面用训练好的页面分类器分析并给予评分，所述评分反应了该页面属于当前主题的概率大小，只有当该评分大于或等于一个先前设定的阈值θ时，页面中的链接和查询接口才被继续处理。

4.根据权利要求1所述的用于深层网页数据源集成的数据源发现方法，其特征在于：所述步骤(3)中，所述表单分类器根据启发规则确定查询接口区域，仅当页面中的表单为查询接口类表单时，将其加入深层网页数据源；所述启发规则为：由TEXTAREA控件或PASSWORD控件构成的网页表单不是查询接口，网页表单中的控件数量少于3的网页表单不是查询接口。