[发明专利]基于树合并的Deep Web查询接口集成方法

说明书

技术领域

本发明涉及Deep Web数据集成、垂直搜索引擎与信息提取系统技术，特别是涉及一种基于树合并的Deep Web查询接口集成方法。

背景技术

随着互联网的飞速发展，Web在线数据库的数量也呈现出爆炸性地增长。早在2004年，UIUC大学的调查报告表明拥有在线数据库的网站数量已经达到307,000个，其背后的数据库数量已经达到366,000-535,000个，覆盖了现实世界中的各个领域。不同的网站对于同一领域内的数据库会提供不同查询能力的查询接口，所以用户不得不逐一访问各个网站的查询接口来获取更全面的数据。为了避免这些既繁琐又低效的查询，集成各个数据源中的数据已经迫在眉睫。集成数据首先要解决的就是集成各个数据源的查询接口，为用户在同一领域内的Web数据库提供统一的访问途径。模式匹配和集成是实现这一任务的关键技术。查询接口的集成过程主要可以分为两个阶段：属性匹配，找到不同查询接口中的表示同一语义的属性的映射关系；模式合并，根据属性映射关系把各个异构的查询接口合并成统一的集成查询接口。

近些年来，查询接口的集成受到了越来越多的研究者关注，也取得了一些成果。查询接口的自动的实现方法可以分为两大类：一类属于局部方式，是基于给定的要进行集成的查询接口集合，分析属性的隐含信息，特别是语义信息，在它们之间作属性的匹配，得到一个新的全局接口；另一类属于整体方式，是基于某个确定的领域通过对这个领域范围内大量接口的处理，发现这个领域上一般的查询接口。但是现有的研究还存在一些局限：首先目前的研究对查询接口采用平面建模，没有挖掘查询属性之间的结构化信息；其次之前的查询接口的集成主要注重属性的匹配过程中，从而忽略了查询属性之间的结构关系，导致最终的集成接口无法继承原始接口的结构特征；最后，缺乏可扩展性，之前很多研究采用聚类的方法，将匹配的属性聚到同一簇中，如果有新的接口需要集成，必须重新对所有查询接口再进行聚类处理。

发明内容

针对背景技术中存在的问题，本发明的目的在于提供一种基于树合并的DeepWeb查询接口集成方法，采用树结构可以充分体现查询接口属性之间的结构关系，通过树的合并来实现查询接口的集成。该方法不但能保持各个原始接口的结构特征，还具备良好的扩展性，以适应不断频繁更新的查询接口。

本发明解决其技术问题采用的技术方案的步骤如下：

1)对经过模式抽取的查询接口进行模式树建模，把所有待集成的查询接口用模式树来建模，生成模式树集合S＝{S₁，S₂…S_n}；

2)分析模式树中的叶子节点的语义，计算模式树中不同叶子节点的相似度；

3)利用步骤2)的相似度计算方法来进行模式树中叶子节点的属性匹配，然后采用成对的基于树合并的方式两两合并模式树，记录下合并轨迹，最终生成集成接口；

4)根据步骤3)合并过程中记录下的合并轨迹，最终产生原始查询接口与集成接口的属性映射关系。

所述步骤1)中待建模的查询接口是经过结构化模式抽取，保留了查询接口在网页上的物理布局关系，建模后的模式树保持了原始查询接口的逻辑关系。

所述步骤2)中的相似度计算引入了模式树的结构相似度，与语义相似度、实例相似度加权平均。

所述步骤3)中查询接口的合并采用成对的方式合并：首先从模式树集合S中选取第一个模式树S₁作为目标树，然后每次从模式树集合S中选择一个模式树S_i作为源树，将源树合并到目标树，循环往复，直到合并完所有模式树。

所述步骤3)对源树中的叶子节点的合并采取以下方法：

1)首先在目标树中寻找匹配节点，如果匹配的节点是叶子节点，则合并这两个节点；

2)如果匹配节点是中间节点，说明属性之间的匹配为一个对多个，则处理复杂映射关系；

3)如果没有找到匹配节点，表明此模式树中的该节点是特有的，需要在目标树中增加该节点，为了保持集成接口的结构特征，需要将该节点插入目标树的对应的子树中。

所述步骤4)中映射关系推导的数据来源是步骤3)中合并过程所做的记录；步骤4)将把步骤3)中的中间映射关系全部转换到原始查询接口到集成接口的映射关系。

本发明具有的有益效果是：