[发明专利]一种数据处理方法及装置

说明书

本发明提供一种数据处理方法及装置，所述方法包括：启动完成后，根据共享内存层中保存的Spark Context初始化数据向资源管理者RM发送资源分配请求；接收所述RM响应所述资源分配请求分配的容器，并分别指示各容器所属节点的节点管理者NM在所分配的容器中启动执行器；为各执行器分配任务，并对所述执行器中执行的任务进行监控，将任务执行得到的数据保存至所述共享内存层。应用本发明可以提高Spark on YARN集群的处理性能，避免性能瓶颈的产生，降低对运行Spark Driver的服务器的硬件配置的需求。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据处理方法及装置。

背景技术

Spark是一种基于内存并行计算框架的分布式批处理系统和分析挖掘引擎，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。

Spark应用程序(Application)运行在Spark Driver(驱动)上。Spark Drive启动时，会创建Spark Context(上下文)，并配置Spark Context，进而初始化Spark Context。

完成Spark Context初始化后，Spark Drive会将应用程序转化为task，并向cluster manager(集群管理者)(如YARN(Yet Another Resource Negotiator，另一种资源协调者))申请资源运行Executor(执行者)，按照预设策略将task分配给各Executor执行。其中，各Executor均会向Spark Drive注册，进而Spark Drive可以监控Executor中task的执行情况。

目前，以YRAN作为cluster manager运行的Spark(可以称为Spark On Yarn)主要包括YARN-Client(客户端)和YARN-Cluster两种模式。

YARN-cluster模式下作业执行流程：

1、Spark client(或称为Spark YARN client)向Resource Manager(资源管理者，简称RM)提交应用程序；

2、RM收到应用程序后，在集群中选择一个Node Manager(节点管理者，简称NM)，为该应用程序分配一个Container(容器)，要求NM在这个Container中启动应用程序的Application Master(AM)；

3、NM接收到RM的分配指令，在指定的Container中启动AM；AM启动后，会启动SparkDriver；

4、Spark Driver启动时，会进行Spark Context的初始化；

5、Spark Driver向RM注册，并采用轮询的方式通过RPC(Remote Procedure Call，远程过程调用)协议为各个task申请资源(Container)；

6、Spark Driver申请到资源(即Container)后，在对应的Container中启动Executor；其中，Executor启动后，可以向Spark Driver注册；

7、Spark Driver分配task给Executor执行；Executor运行task，并向SparkDriver汇报运行的状态和进度；

8、应用程序运行完成后，AM向RM申请注销并关闭。

然而实现发现，在现有YARN-cluster实现方案中，仅有一个Spark Driver处于工作状态，导致Spark On YARN集群处理性能较低，容易出现性能瓶颈。

发明内容