[发明专利]用于处理并发属性图查询的系统

说明书

提供了一种用于对在分布式网络中实现的属性图进行并发属性图查询的图处理系统，所述图处理系统在相应节点上计算子图分片，所述子图分片表示为包含在一定范围内的顶点的边集。每个节点存储子图分片的数据，所述子图分片包含一系列局部顶点，这些局部顶点是所述属性图的所有顶点的子集。每个子图分片还具有边界顶点，所述边界顶点具有将所述子图分片连接到另一子图分片的边界顶点的边。在接收到所述属性图的并发查询时，根据每个并发用户查询的初始顶点来调度所述子图分片的查询。通过遍历每个节点上子图分片内的边集来遍历所述属性图，并且在遍历期间使用消息传递来将边界顶点的值发送到具有共享所述边界顶点的另一子图分片的至少一个其它节点。

相关申请案交叉申请

本申请与2018年6月15日提交的发明标题为“用于处理并发属性图查询的方法和系统(Methodology and System for Handling Concurrent Property Graph Queries)”的第62/685,555号美国临时申请序列号相关，该美国临时申请的全部内容通过引用并入本文。

技术领域

本发明涉及在分布式基础设施中运行的基于边集的属性图遍历框架。

背景技术

很多大数据分析应用都研究自然建模为图的一组相关实体。然而，众所周知，由于随机数据访问模式，尤其是在工业规模应用中数据量较大的情况下，图处理面临着性能挑战。解决这些挑战对于此类工业规模应用的性能至关重要。

图处理已在大数据分析中得到了广泛应用，在知识图和机器学习应用中发挥着越来越重要的作用。许多现实世界的场景，如社交网络、Web图、无线网络等，自然地表示为大比例尺图。将应用建模为图提供了直观的表示，使得能够研究和提取数据中的有价值的信息。例如，在推荐系统中，通过分析关于邻居的信息来预测用户的兴趣，提高点击率。高性能图处理也有利于丰富重要算法。例如，映射应用充分利用了最短路径图遍历算法进行导航。为了有效管理和处理图，已经开发出了图数据库，如等。在许多大数据计算平台中，图处理框架也通常被视为关键组件，如中的Giraph^TM、Spark^TM中的GraphX、中的Gelly^TM等。然而，这种图处理系统通常侧重于加速单个图处理任务，而不考虑多个图处理任务并发运行，如在现实场景中工业规模应用所需的同时向同一图发出一组查询。

发明内容

现在描述各种示例从而以简化形式引入一些概念，在下文具体实施方式中会进一步描述这些概念。发明内容并非旨在确定请求保护的主题的关键或必要特征，也并非旨在用于限制请求保护的主题的范围。

需要一种能够支持并发属性图查询的图处理系统，以提高分布式环境中k跳可达性查询的平均响应时间。通常，属性图包括定向轴和用户的属性(attribute/property)(例如，用户名)、数据关系等。本文描述的系统和方法涉及一种在分布式基础设施中运行的基于边集的图遍历框架，称为C-Graph(即，并发图)，并且使得k跳可达性查询具有高并发性和效率。本文描述的系统和方法可以通过图处理软件实现，所述图处理软件由支持属性图并发查询的分布式处理系统中的一个或多个处理器执行。

在示例实施例中，本文描述的系统旨在满足工业需求，即高效处理对大型图的一组同时图查询，而非如传统系统中那样，在服务器/集群中仅加速单个图处理任务。因为许多用户使用不同的查询并发访问一个图是十分常见的，尤其是对于云服务而言，因此需要这种并发性。此外，在许多情况下，图越来越大，导致复制图实例的开销也增加。此外，生成过多的实例导致难以实现各实例之间高效的数据一致性。因此，需要支持每个实例中的并发查询以避免过多的数据复制。此外，更新应在各实例之间进行，并且每个实例内的并发性增加。为了实现这些目标，本文描述的C-Graph遍历框架维持了全局顶点状态，以便于图遍历，同时支持同步和异步通信接口。对于任何可以分解为一组局部遍历的图处理任务，如图k跳可达性查询，这种方法相对于传统系统都表现出优异的性能。