[发明专利]一种面向跨区域的多主模型分布式图计算方法

说明书

本发明提供一种面向跨区域的多主模型分布式图计算方法，涉及图计算技术领域。该方法首先以跨区域图计算系统包括的多个数据中心中的所有计算节点为顶点构成一个完整的图数据集；确定图数据集中的主顶点，并在图数据集的边界上为主顶点设置副本顶点；然后建立图计算模型，对图数据集中所有非边界顶点和没有副本的边界顶点进行状态值更新；并基于图计算模型建立边界顶点上的多主计算模型，对所有主顶点及其副本顶点进行状态更新。同时，为图计算模型和多主计算模型中所有顶点的消息发送设置消息缓存区来减少发送消息量。该方法保证了各数据中心的数据隐私，消除了全局同步限制，使得各数据中心拥有较高的自治性。

技术领域

本发明涉及图计算技术领域，尤其涉及一种面向跨区域的多主模型分布式图计算方法。

背景技术

图计算是一种新兴的大数据挖掘技术，在各行各业中被广泛应用，例如社交网络关系挖掘、web链接搜索、蛋白质相互作用功能检测、道路交通网络导航分析等。随着全球化网络的普及和在线应用的不断涌现，使得图计算应用被部署到全球各个地区的数据中心之中，并以地理分布的方式生成数据。例如，社交网络每天产生大量的文本、语音、视频数据，为减少成本，这些数据被存储在数据源就近所在区域的数据中心中；蜂窝网络在地理分布的基站收集数据；在物联网中不同地区不同设备或传感器所发送的信息数据等。

分析这些跨区域的数据集时，由于海量数据规模庞大的原因，很难将这些数据迁移到一个中心位置进行分析。另一种替代方案，实现跨区域图计算系统，需要通过不断在数据中心之间交互信息，协调性地进行计算分析。而实际应用中使用的图算法，比如用来确定图网络中的个体顺序的PageRank网页排序算法、以及用来挖掘相近数据顶点的单源最短路径算法等，通常需要数次迭代计算后达到收敛状态得到最终的分析结果。各个数据中心负责局部的子图计算，通过数据中心间图数据结构中的关联关系进行数据中心间的信息交互。

在现实生活中跨区域图计算有很多实际应用场景。例如在金融行业，通过对不同地区多家银行的账户转账数据(转账关系图)进行联合分析，可以对欺诈行为进行检测；在医疗行业，多家医疗机构共享病例信息(患者关系图)进行联合病情诊断；搜索引擎为不同区域的用户提供不同地理区域上的搜索服务(网页链接图)。

对于跨区域图计算系统，其应解决以下三个方面的问题：1.各地区数据中心间使用广域网(WAN)，其带宽成本昂贵，传输大量数据可能产生高额的成本。2.多数跨区域数据应用中数据具有敏感性。例如金融业的银行数据、医疗业患者病例数据等敏感信息。3.各数据中心数据管理的自治性。各个数据中心中的数据应该不受其他数据中心干扰，拥有自己相对独立的操作。

发表在会议HotCloud 2018中的“Monarch:gaining command on geo-distributed graph analytics”设计了基于跨地理分布的分布式图计算系统Monarch。图算法的迭代处理的风格是跨区域图计算的关键，在跨区域计算中，使用广域网的通信费用十分高昂，其方法的主要思想是利用图并行计算模型的特征来减少广域网的使用。即减少跨区域图计算系统的通信开销。在图并行计算过程中，通常是以迭代的方式进行的。在每次迭代中，每个顶点以相同的方法被执行，并且与邻居顶点进行交互，在交互过程中会产生大量的通信。为了减少每次迭代上产生的通信开销，Monarch首先将每个数据中心中的子图数据作为一个完整的图，在该图上进行并行计算，得到收敛结果。然后做一个全局的同步，通过每个数据中心子图的边界顶点将顶点状态发送给其他数据中心，进行整体图数据的同步。在同步之后，每个数据中心中由于边界顶点上接收到同步消息更新了部分顶点的状态，导致全局图处于一个不一致的状态。这时，数据中心的子图上部分顶点的结果可能不再有效，需要重置子图上的部分顶点状态，并重新启动数据中心上的局部计算。这样，将传统的每次迭代就需要进行全局同步减少成为当子图收敛才进行全局同步，大大减少了全局同步时期的数据交互。从而减少了数据中心间的通信，来解决广域网上高昂的通信成本。