[发明专利]基于语义距离模型的XML文档关键字搜索聚类方法

说明书

技术领域

本发明属于Web数据管理技术领域，具体涉及一种基于聚类思想，对可扩充标记语言(XML)数据库或文档进行关键字搜索的方法。

背景技术

由于界面友好、使用简单，关键字搜索在信息检索领域取得了巨大成功，例如谷歌搜索引擎、百度搜索引擎等。它们的搜索对象通常是一个HTML文档或普通文本文档的集合，搜索的目的是查出哪些关键字在哪些文档中出现，并且返回全部或部分包含关键字的文档。由于XML格式数据的大量出现和广泛应用，在XML文档上进行关键字搜索的需求变得越来越迫切。近年来，XML关键字搜索受到工业界和学术界的广泛关注^{[1][2][3][4][5][6][7]}。XML的关键字搜索不同于结构化的XML查询(如XPath、XQuery等)，不仅易于使用，用户不需要学习和掌握复杂的查询语言，用户也不需要了解XML的模式，适用于Internet上大量存在的自由XML文档。但是，关键字搜索带来的一个关键问题是用户难以或无法准确表达搜索语义。因此，在XML关键字搜索中，如何确定关键字搜索的语义(即用户的搜索意图)以及返回什么样的结果给用户则成为关键的技术难点。

在已有的关于XML关键字搜索的工作中，通常都是基于最低公共祖先(LCA)模型，中一个典型的方法是最小最低公共祖先方法SLCA(Meaningful Lowest Common Ancestor)^[2]。Li等人^[3]将关键字搜索的语义定义为有意义的最低公共祖先，其本质含义与SLCA相同。SLCA方法返回的是一组最小应答子树(smallest answer subtree)，一棵最小应答子树被定义为：包含有所有关键字的子树，并且任意一棵其子树都不包含所有关键字，这种子树的根被称作一个SLCA。SLCA方法实际上是将对一组关键字的搜索转换为对这一组关键字的最小最低公共祖先的查找。该方法虽然能够获得一些关键结果，但同时又会丢失很多有意义的信息。例如，图1所示是一个XML文档树，其中每个结点以自己的标签作为标识，下面的数字串是该结点的Dewey编码。假如用户搜索的关键字是{XML，Michael，David}，标签中包含关键字的结点用下划线标出。

在图1中，SLCA方法的返回结果只是一棵以结点Article(0.2.2.0)为根的子树。然而，用户的搜索语义极有可能是“Michael和David曾经合作写过哪些关于XML的文章”，很明显，SLCA方法找到了文章“XML3”，但将文章“XML2”漏掉了；用户还可能有其它合理的查询意图，比如“Michael和David一起合作写过哪些文章”，“Michael和David其中任一个人写过哪些关于XML的文章”，对于这两个询问，文章“HTML1”和文章“XML1”也是满足的，都应该被返回。这些搜索意图都是很合理的，也是现实生活中非常常见的，而SLCA方法将几个满足这些搜索意图的结果都丢失了。

实际上，SLCA方法所做的即是根据某种规则从各种包含不同关键字的结点的组合中挑选出部分“最优”的包含全部关键字的组合，而SLCA方法认为的“最优”就是LCA相对最低，而LCA相对较高的结果则都被丢弃了，这是SLCA方法会丢失有意义的结果的根本原因。除了丢失一些有意义的结果外，SLCA方法还存在一些其它问题：(1)在其计算过程中，并不是所有的结点组合都是可比较的，所有LCA之间不存在祖先后代的两个组合，例如图1中的组合{0.2.2.0.1.0，0.2.2.0.1.1}与组合{0.0.1.0，0.0.1.1}，都不可比较，所以选出的”最优”只能是相对最优；(2)由于SLCA方法选出来的一组结果的LCA之间都不存在祖先后代关系，所以它们是不可比较的，因此也无法将它们排序，这显然不适合结果集比较大的情况；(3)SLCA方法要求每个结果都要包含所有关键字，这实际是要求在作为查询语句的所有关键字之间存在“与”逻辑关系，而我们现实生活中所使用的关键字搜索引擎(例如谷歌)都包含了“或”关系，也就是说关键字可以全部或部分的存在于结果中，这使得搜索的结果能更多地满足用户的可能意图，显然更加合理，也应该被应用到XML关键字搜索中来。

针对上述问题，本发明提出一种新的XML关键字搜索的处理方法。其中，提出一种新的XML关键字搜索的语义距离模型，综合考虑关键字结点之间的距离和它们的LCA的高度；首次使用聚类算法进行XML关键字搜索；并提出一种排序模型对所有的搜索结果排序。

发明内容