[发明专利]基于多数据架构中心面向数据密集型应用的并行编程方法

权利要求书

1.一种基于多数据架构中心面向数据密集型应用的并行编程方法，其特征在于，包括以下步骤：

1）构建系统架构的主节点，接收用户提交的若干作业，并通过主节点将所述作业分割成相对应的次一级任务，并将所述次一级任务分布到子节点上；

2）构建系统架构的子节点，所述子节点包括任务跟踪程序TaskTracker服务器、作业跟踪程序、I/O服务器程序和网络共享程序；

3）将MapReduce应用及其配置置于网络的共享位置中，供机群中的所有计算节点访问共享位置中的作业，并加以执行；以及

4）设计自动加载MapReduce作业并行处理模型，所述并行处理模型包括提交作业、作业初始化、任务分配、任务定位、任务提交、任务执行和释放资源功能。

2.根据权利要求1所述的一种基于多数据架构中心面向数据密集型应用的并行编程方法，其特征在于：所述主节点包括元数据Metadata服务器和作业跟踪程序JobTracker服务器，所述元数据Metadata服务器使用Gfarm文件系统未经修改的元数据服务器，元数据服务器管理分布在多个机群上的文件，决定文件的实际位置，管理文件的复制，协调多个客户对文件的访问；元数据服务器还管理用户访问控制信息，所述作业跟踪程序JobTracker服务器使用一个数据感知的调度器，在考虑数据所在位置的基础上，将计算任务分布到多个机群中。

3.根据权利要求2所述的一种基于多数据架构中心面向数据密集型应用的并行编程方法，其特征在于：所述任务跟踪程序TaskTracker服务器负责接收和执行分布式资源管理应用接口DRMAA Gfarm Plugin送来的任务，所述作业跟踪程序使用一个分布式资源管理应用接口DRMAA的java库进行任务提交。

4.根据权利要求3所述的一种基于多数据架构中心面向数据密集型应用的并行编程方法，其特征在于：；所述子节点上的I/O服务器管理存储在子节点中的数据，所述主节点上的I/O服务器将数据存储在机群的高性能文件系统中。