[发明专利]一种在Yarn调度下实现HadoopMR任务集群无关性的方法

说明书

本发明公开了一种在Yarn调度下实现HadoopMR任务集群无关性的方法，包括如下步骤1)HadoopMR任务自定义参数编写；2)HadoopMR任务自定义方式提交；3)HadoopMR任务运行。通过本发明在Yarn调度下实现HadoopMR任务集群无关性的方法，在HadoopMR任务提交的过程中，去除了集群环境的无关性；这样可以更加灵活的复用HadoopMR任务，来对接不同的版本集群，以便于满足复杂的业务场景，缩小HadoopMR任务的开发成本，提交灵活性。

技术领域

本发明涉及一种在Yarn调度下实现HadoopMR任务集群无关性的方法。

背景技术

现有的HadoopMR任务包含三个部分，一个map函数,一个reduce函数，一个main函数，main函数作为程序控制的入口。现阶段main函数的入口参数中无法指定对应的集群配置信息参数类，不能更好的去支持复杂的场景下业务需求。比如同一个任务在不同的集群环境中运行，无法根据不同的集群环境中使用自己对应的环境配置。一般情况下，main函数的集群配置信息都是读取的环境变量下路径配置，这样无法对接不同集群的HadoopMR任务，如何设计一种集群无关性的HadoopMR任务成为了要解决的问题。

发明内容

针对上述现有技术的不足，本发明提供了一种在Yarn调度下实现HadoopMR任务集群无关性的方法。

一种在Yarn调度下实现HadoopMR任务集群无关性的方法，包括如下步骤：

1)HadoopMR任务自定义参数编写；完成MapReduce中的InputFormat、OutputFormat的实现方式,分别负责MR的输入部分和输出部分；

2)HadoopMR任务自定义方式提交；将编写好的HadooMR任务，提交到对应的集群中；

3)HadoopMR任务运行；通过已经赋值的自定义的任务参数，如根据不同的集群信息，来初始化对应的MapReduce的Job任务，并提交到对应的集群环境中；在根据具体的MapReduce任务执行对应的数据处理逻辑。

所述步骤1)包括如下步骤：

1.1)InputFormat是数据输入的组件，自定义输入数据的格式，通过实现Mapper类来实现对输入数据的处理逻辑，将数据处理为对应的记录样式；

1.2)OutputFormat是对数据输出的组件，将Mapper中处理的数据并行进行处理，实现Writer方法，将处理结果写回到对应的结果文件中；

1.3)在程序入口main函数添加自定义集群配置信息参数,通过配置集群信息类Configuration来初始化对应的MapReduce Job任务；更多的自定义参数可以在main函数中依次添加，通过这样的方式，可以使用相同的任务在不同的集群环境中执行，实现MR任务集群配置无关性；

1.4)将对应HadoopMR任务打包成对应可执行的jar包，提供对应jar包的入口函数路径。

所述步骤2)包括如下步骤：

2.1)上传对应jar到文件服务器上，指定不同集群环境需要的依赖jar包；

2.2)通过可配置的类加载方式，类加载器具体实现UserCodeClassLoaders根据配置方式去加载对应路径下的jar包；

2.3)配置好MR任务jar包main函数入口参数的对应关系，Configuration中的集群配置信息；

2.4)在步骤2.2)中类加载器加载任务提交所需要的jar包信息，PackagedProgram通过调用自定义的类加载器在任务提交运行的时候，通过Java反射对main函数的入口参数Configuration进行赋值；