[发明专利]一种支持大规模动态图数据查询的并行处理框架的设计方法

说明书

本发明提供一种支持大规模动态图数据查询的并行处理框架及设计方法，设计方法如下：该并行处理框架结合了MapReduce框架和BSP框架，以Hadoop框架为底层基础，采取“MapReduce+BSP”模式来满足图计算数据量大和多次迭代的需求，同时该并行处理框架通过构建迭代控制模块、构建实时监听模块、Map阶段功能设计、Reduce阶段功能设计来实现实时监控功能来检查图文件的动态变化。本发明设计出的框架将MapReduce框架和BSP框架的优势合二为一，在解决BSP框架无法实现高吞吐量计算的同时，避免了MapReduce框架无法进行多次迭代计算的缺点。

技术领域

本发明属于大规模图技术领域，特别涉及一种图数据的处理框架设计，具体涉及一种支持大规模动态图数据查询的并行处理框架的设计。

背景技术

随着“大数据”和“云计算”技术的快速发展，新一代信息通信技术已经崛起。智能交通、社交网络等领域已经很难用传统互联网技术来满足大众的需求。如何处理这些领域背后复杂图结构的问题，已经成为越来越多研究机构关注的重点。在信息量增长和数据间关系复杂的环境下，大规模动态图的处理技术日新月异，以Google、Facebook、Apache等为代表的研究机构针对大规模动态图的存储、索引、迭代处理等技术推出了一系列框架平台，以此来满足不同背景领域的需求。

目前，针对于大规模动态图的处理框架主要集中在MapReduce和BSP两个框架上。图1、图2分别给出了MapReduce和BSP框架的工作流程。对比两个基础框架，MapReduce框架能够对大块文件进行批处理，如图1所示，该框架拥有比较成熟的编程接口，易于编程实现，具有较高的通用性和抽象度，但是对于迭代计算只能在外部多次链式启动作业，产生较高网络传输开销，大大降低了处理效率，故不适合迭代计算和对实时性要求较高的计算；而BSP框架引入“超步”概念，是一个状态框架，如图2所示，该框架能够较好地解决迭代计算的问题，适用于迭代计算和矩阵计算，但由于其是基于内存计算的框架，对于集群中各节点的内存性能要求较高，而且现有实现框架中在版本稳定性和各项机制等方面都不够成熟，数据计算吞吐量较弱。因此，设计一种针对大规模动态图数据查询的处理框架是非常必要的。

发明内容

为了解决现有大规模图处理框架的不足，本发明提供一种支持大规模动态图数据查询的并行处理框架的设计方法，能够有效地支持大规模动态图的处理操作。

本发明采用的技术方案是：设计并实现了一种专门针对大规模动态图处理算法的轻量级框架，框架结合MapReduce框架和BSP框架的优势，针对大规模动态图处理算法对数据规模、迭代效率、时效性等要求较高的特点，以Hadoop框架为底层基础，采取“MapReduce+BSP”模式来满足图计算数据量大和多次迭代的需求，在HDFS分布式文件系统的基础上对Hadoop核心源码包进行部分修改，保留了Hadoop框架原有的分布式文件系统、主从集群架构模式、RPC通信机制、容错控制机制、任务调度机制等特性外，同时增加了实时监控功能来检查图文件的动态变化，依次增加了迭代控制模块(JobTracker)、实时监听模块、Map阶段缓存数据获取模块、Reduce阶段本地溢写模块四个主要模块，分别用于BSP迭代控制，Hadoop实时监听以及MapReduce框架优化。

本发明的设计方法具体如下：

步骤1 构建JobTracker迭代控制模块。用户在提交作业时，通过实现迭代控制接口及相应图处理算法的迭代收敛条件来完成框架的迭代控制功能。

框架的主从节点间通过Hadoop框架的心跳机制，来进行任务执行状态的通信，从而判断是否满足作业的迭代终止条件，最终实现控制各节点任务的迭代执行。JobTracker模块避免了通过外部链式多次启动作业实现迭代处理所带来的作业多次初始化和作业多次与HDFS文件系统交互所带来的开销。

步骤1-1 初始化JobTracker