[发明专利]一种基于查询计划的联邦型RDF系统Top-K查询与优化方法

说明书

本发明涉及一种基于查询计划的联邦型RDF系统Top‑K查询与优化方法。其发明内容主要包括(1)基于同源归并的查询分解与数据源定位方法；(2)基于代价模型和动态规划的最优查询计划生成方法；(3)基于深度优先和子图剪枝的查询计划执行方法。

技术领域

本发明涉及分布式RDF系统数据管理与应用领域，一种基于查询计划的联邦型RDF系统Top-K查询与优化方法。

背景技术

随着互联网的高速发展，网络数据累积量日益增大，且它们之间的关联关系愈加复杂。为了更好的管理Web信息，W3C提出了利用资源描述框架(Resource DescriptionFramework,RDF)描述Web资源的特征，以及资源与资源之间的关联关系。在RDF数据中，资源以统一资源标识(Uniform Resource Indentifiers,URI)进行命名，用三元组模式作为资源描述的基本数据形式。三元组模式包含两类三元组：主体，谓词，客体和主体，属性，属性值，如：中国，首都，北京表示中国的首都是北京，中国，人口，1400050000表示中国的人口属性值为1400050000。一个RDF数据集被视为包含一定规模大小的三元组集合。为了对RDF数据进行统一管理，W3C在定义RDF数据模型时便提出了结构化标准查询语言SPARQL(Simple Protocol And RDF Query Language)。该查询语言与关系型数据库的查询SQL非常相似，通过SELECT语句查询特定条件下的RDF数据内容。由于RDF独特的灵活性结构，越来越多的数据被表示为RDF形式。随着RDF数据规模的日益增长，受限于集中式RDF系统的单机处理能力，采用分布式数据系统对其进行查询处理成为当前研究热点。

联邦型RDF系统作为分布式RDF数据系统中的一类，它由一个控制站点和一系列各自“自治”的RDF数据源组成。在联邦型RDF系统中，各个RDF数据源之间不能直接进行通信，因此，需要控制站点对其进行调控。控制站点除了拥有调控RDF数据源的功能之外，它还负责面向用户交互，进行RDF数据SPARQL查询。由于SPARQL查询语言的设计初衷只针对集中式RDF系统有效，而在联邦型RDF系统中的查询数据往往涉及多个RDF数据源，因此联邦型RDF系统的SPARQL查询往往需要做一定的额外工作。联邦型RDF系统的SPARQL查询过程为：用户向控制站点提交一个SPARQL查询，控制站点通过分析SPARQL查询语句特征，将其分解为多个可以由单个RDF数据源执行的子查询。然后，将这些子查询转发到相应的RDF数据源上并行执行。最后，控制站点搜集所有子查询结果，对其进行连接得到最终查询结果并返回给用户。

由于RDF数据集规模的日益增大，特别地，联邦型RDF系统通常包含多个大规模RDF数据源。因此，一个SPARQL查询往往可以获得大量的查询结果，而用户可能更关注其中的部分结果(前K个)。此外，由于搜索引擎、推荐系统、精准问答等应用的快速发展，其对Top-K查询性能的需求也越来越高。由于联邦型RDF系统中查询分解后子查询数量普遍较多，从而需要大量的远程访问请求，这在分布式数据系统中会占据大量性能开销；此外，经过查询分解后的子查询执行效率受执行顺序和执行模式的影响较大，且查询过程中通常存在大量中间结果，导致通信开销较大；因此，针对上述问题，本发明提出了一种基于查询计划的联邦型RDF系统Top-K查询与优化方法，大幅提升了Top-K查询的查询效率。

发明内容

本发明旨在解决联邦型RDF系统中Top-K查询性能不足的问题。

为此，本发明提出了一种基于查询计划的联邦型RDF系统Top-K查询与优化方法，主要包括三大内容：

(1)基于同源归并的查询分解与数据源定位方法；

(2)基于代价模型和动态规划的最优查询计划生成方法；

(3)基于深度优先和子图剪枝的查询计划执行方法。

具体内容如下：