[发明专利]一种大数据任务处理方法及计算机设备

权利要求书

1.一种大数据任务处理方法，其特征在于：包括：

步骤1、接收前端发送的任务处理请求数据，并进行解析；

步骤2、根据解析后的数据，申请资源；

步骤3、若存在资源，则发送所请求处理的任务到对应的大数据处理框架；否，则进入资源等待队列，直至存在资源，并发送所请求处理的任务到对应的大数据处理框架；

步骤4、大数据处理框架接收任务，获取所需参数，之后构建任务上下文，获取所需源数据，执行任务，并将结果输出；

步骤5、将输出的结果按照设定的封装类型进行封装，之后传输至设定地址；

所述步骤4具体为：每个大数据处理框架，通过消息或者参数设置，对发送过来的任务调度到对应的框架上面执行，根据不同的框架及消息获取对应的执行参数，构建框架的任务上下文，在上下文中获取数据源，最后执行对应的任务，输出结果集；

所述步骤5具体为：输出结果集后进行结果集封装，按照通讯消息或者参数设置来指定要封装的类型及输出的通道；

所述大数据处理框架包括：Spark、Flink、Hive、Pig、GraphLab、Cassandra、MongoDB、Impala、Greenplum、HAWQ、Storm、ElasticSearch、Solr、Hbase以及MySQL。

2.根据权利要求1所述的一种大数据任务处理方法，其特征在于：所述步骤1进一步具体为：接收前端发送的任务处理请求数据，若任务处理请求数据异常，则结束；否则将任务处理请求数据进行解析。

3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现以下步骤：

步骤1、接收前端发送的任务处理请求数据，并进行解析；

步骤2、根据解析后的数据，申请资源；

步骤3、若存在资源，则发送所请求处理的任务到对应的大数据处理框架；否，则进入资源等待队列，直至存在资源，并发送所请求处理的任务到对应的大数据处理框架；

步骤4、大数据处理框架接收任务，获取所需参数，之后构建任务上下文，获取所需源数据，执行任务，并将结果输出；

步骤5、将输出的结果按照设定的封装类型进行封装，之后传输至设定地址；

所述步骤4具体为：每个大数据处理框架，通过消息或者参数设置，对发送过来的任务调度到对应的框架上面执行，根据不同的框架及消息获取对应的执行参数，构建框架的任务上下文，在上下文中获取数据源，最后执行对应的任务，输出结果集；

所述步骤5具体为：输出结果集后进行结果集封装，按照通讯消息或者参数设置来指定要封装的类型及输出的通道；

所述大数据处理框架包括：Spark、Flink、Hive、Pig、GraphLab、Cassandra、MongoDB、Impala、Greenplum、HAWQ、Storm、ElasticSearch、Solr、Hbase以及MySQL。

4.根据权利要求3所述的一种计算机设备，其特征在于：所述步骤1进一步具体为：接收前端发送的任务处理请求数据，若任务处理请求数据异常，则结束；否则将任务处理请求数据进行解析。