[发明专利]一种支持大规模动态图数据查询的并行处理框架的设计方法

权利要求书

1.一种支持大规模动态图数据查询的并行处理框架的设计方法，其特征在于，设计方法如下：该并行处理框架结合了MapReduce框架和BSP框架，以Hadoop框架为底层基础，采取“MapReduce+BSP”模式来满足图计算数据量大和多次迭代的需求，在HDFS分布式文件系统的基础上对Hadoop核心源码包进行部分修改，保留了Hadoop框架原有的分布式文件系统、主从集群架构模式、RPC通信机制、容错控制机制、任务调度机制，同时该并行处理框架通过构建迭代控制模块JobTracker、构建实时监听模块、Map阶段功能设计、Reduce阶段功能设计来实现实时监控功能来检查图文件的动态变化以及实现BSP迭代控制、Hadoop实时监听、MapReduce框架优化。

2.如权利要求1所述的一种支持大规模动态图数据查询的并行处理框架的设计方法，其特征在于具体设计方法如下：

步骤1 构建JobTracker迭代控制模块：用户在提交作业时，通过实现迭代控制接口及相应图处理算法的迭代收敛条件来完成框架的迭代控制功能；

步骤2 构建监听进程模块：监听进程模块作为单独的一个进程来运行，与JobTracker进程同时启动，负责实时监控HDFS分布式文件系统的文件变化，通过设定相应的路径和时间间隔，来采取轮询机制定时监控固定的文件输入目录是否发生变化，从而实现处理动态图算法的功能；

步骤3 Map阶段功能设计：Mapper将会从执行完毕的Reducer本地缓存文件目录中拷贝待处理文件，并且与TaskTracker保持通信，按照相应命令进行处理下一轮迭代任务；

步骤4 Reduce阶段功能设计：框架针对图处理多次迭代的特点，Reduce阶段结束后会将中间结果写到本地磁盘系统而非HDFS文件系统，等到作业中所有迭代任务完成后，再将最终结果写入到HDFS中，最终清除缓存目录，完成作业。

3.按照权利要求1或2所述的一种支持大规模动态图数据查询的并行处理框架的设计方法，其特征在于所述JobTracker迭代控制模块的构建方法如下：

步骤1-1 初始化JobTracker

JobTracker模块通过脚本命令start-mapred.sh进行启动，JobTracker进程启动后，会通过调用offerService()方法启动一些监听线程来跟踪作业的状态并及时向JobTracker反馈；jobQueueJobInProgressListener用来跟踪各个JobInProgress实例在作业执行过程中的改变；eagerTaskInitializationListener不断监听Job初始化队列；

步骤1-2 RPC通信机制和心跳机制

首先，TaskTracker在初始化时会执行run()方法来与JobTracker建立连接，JobTracker接收到TaskTracker发送过来的心跳信息后，首先检查心跳信息是否来自于合法的TaskTracker节点，然后根据status、acceptNewTasks、responseId参数来获得TaskTracker的状态信息、心跳编号，处理发送过来的心跳信息，最后，TaskTracker接收到JobTracker发送回来的响应信息后，通过调用getActions方法获得TaskTrackerAction数组中的命令，进行下一轮的迭代任务；

步骤1-3 清理本地临时文件

当loopListener线程发来迭代结束的标志位信息时，JobTracker会实例化Task类中的NewDirectOutputCollector对象，将最后结果直接输出到HDFS分布式文件系统，同时将JobCleanup任务返回给TaskTracker执行，进行清理本地系统的临时文件。