[发明专利]一种基于Spark的数据处理方法及系统

权利要求书

1.一种基于分布式计算平台的数据处理方法，其步骤为：

1)用户根据待处理文档的需求选取算子并配置所选取的算子参数，然后建立所选算子的连接关系，生成场景的XML文件；该场景的XML文件中包括每一所选算子的XML内容以及各算子的连接关系；

2)根据场景的XML文件生成相应的有向无环图DAG；

3)将该有向无环图DAG切分成若干能够在分布式计算环境下执行的子任务subJob，在Spark计算框架下执行切分后得到的子任务subJob，实现对该待处理文档的处理。

2.如权利要求1所述的方法，其特征在于，将该有向无环图DAG切分成若干子任务subJob的方法为：

21)读取该场景的XML文件，获取每个算子的类型，判断是否存在复杂算子；其中，所述复杂算子是指操作对象是数据全集的算子；

22)如果不存在复杂算子，则将该场景作为一个子任务subJob；如果存在复杂算子，则将该有向无环图DAG中的每个算子都作为一个独立的子任务subjob，然后按照设定规则对子任务subjob进行合并；所述算子分为两类，即适配算子和计算算子；适配算子包括适配输入算子和适配输出算子，计算算子包括简单计算算子和复杂计算算子；

所述设定规则包括：

1)简单计算算子接简单计算算子则合并

2)简单计算算子接复杂计算算子则不合并

3)复杂计算算子接简单计算算子则不合并

4)复杂计算算子接复杂计算算子则不合并

5)适配输入算子接简单计算算子则合并

6)适配输入算子接复杂计算算子则不合并

7)简单计算算子接适配输出算子则合并

8)复杂计算算子接适配输出算子则不合并

23)对于步骤22)处理后的子任务subjob，如果子任务subjob的结束端不是适配输出算子或复杂算子，则在该子任务subjob末端加上sink算子，其中sink算子的功能为将数据存储到hive临时表中；如果子任务subjob的始端不是适配输入算子或复杂算子，则在该子任务subjob始端加上scan算子，其中scan算子的功能为从hive临时表中读取数据。

3.如权利要求1或2所述的方法，其特征在于，步骤2)中，对该有向无环图DAG进行判断，确定该有向无环图DAG中是否有环、有子环或者断裂，如果有其中之一，则停止执行，并将结果反馈到该用户所在的界面。

4.如权利要求1或2所述的方法，其特征在于，所述步骤3)中，执行子任务sujob之前，首先对子任务subjob进行扫描；扫描的过程中如果发现Reduce算子，则在该算子前面添加ReduceSink算子，如果没有发现，则不做处理；扫描之后执行子任务subjob。

5.一种基于分布式计算平台的数据处理系统，其特征在于，包括管理单元、执行单元和计算单元；其中，

所述管理单元，用于用户根据待处理文档的需求选取算子并配置所选取的算子参数，然后建立所选算子的连接关系，生成场景的XML文件；该场景的XML文件中包括每一所选算子的XML内容以及各算子的连接关系；

所述计算单元，用于根据场景的XML文件生成相应的有向无环图DAG；

所述执行单元，用于将该有向无环图DAG切分成能够在分布式计算环境下执行的子任务subJob；然后将子任务subJob提交给分布式计算平台执行。