[发明专利]一种作业调度管理系统及方法

权利要求书

1.一种作业调度管理系统，其特征在于：包括FTP服务器、客户端、一个控制节点和若干处理节点，其中

客户端：将作业包发送给FTP服务器、将控制命令发送给控制节点；

控制节点：接收来自客户端的控制命令，接收来自FTP服务器的数据信息、接收来自处理节点的状态信息、发送相关控制命令给处理节点；

处理节点：接收来自FTP服务器的数据信息、发送结果文件给FTP服务器、发送状态信息给控制节点、接收来自控制节点的控制命令；

FTP服务器：接收来自客户端的作业包和来自处理节点的结果文件，并发送数据信息给控制节点和处理节点；

所述控制节点的详细结构包括：

作业控制模块，负责作业控制命令的接收和作业调度，发送作业部署、启动、停止、暂停、重试和心跳测试等命令；

监控模块，负责追踪作业的生命周期，当出现异常时进行容错处理，同时监控处理节点的加入和退出、作业队列、作业运行情况和资源使用情况。

2.根据权利要求1所述的一种作业调度管理系统，其特征在于：所述处理节点的结构包括：

数据接收模块，负责作业包的接收；

节点控制模块，负责接收任务启动、关闭、暂停、重试、心跳测试等命令，并负责监测作业任务的运行情况，同时还负责向控制节点发送节点心跳信息；

任务执行容器，负责任务的执行、关闭、暂停和状态返回等运行时支持；

结果返回模块，负责写回处理结果文件。

3.根据权利要求1所述的一种作业调度管理系统，其特征在于：所述控制节点与处理节点之间设置有消息中间件，该消息中间件包括控制命令队列、结果返回队列和状态信息队列，其中控制命令队列用于发送部署、启动、停止、暂停、重试和心跳测试等命令；结果返回队列用于返回部署、启动、停止、暂停、重试等控制命令的反馈，以及作业执行的反馈结果；状态监控队列用于返回作业的中间进度状态、错误或异常。

4.根据权利要求1所述的一种作业调度管理系统，其特征在于：所述FTP服务器接收来自控制节点的作业包给处理节点，然后接收来自处理节点的结果文件并发送给控制节点：控制节点将命令作业包上传到FTP服务器，在作业启动命令中附加作业包的FTP地址，发送控制命令；处理节点接收到作业启动命令后，从中解析出作业包的FTP地址，连接FTP服务器下载作业包进行处理；处理完成后，处理节点在结果返回消息中附加结果返回文件的FTP地址，发送结果返回消息，控制节点接收后结果返回消息后解析出返回文件的FTP地址，连接FTP服务器下载作业文件。

5.根据权利要求1所述的一种作业调度管理系统，其特征在于：客户端定义分发目标，启动MapReduce作业，控制节点按照目标分发作业包，处理节点接收作业包后，以客户端形式提交给Hadoop集群进行处理，Hadoop将作业放入队列，按照策略将作业的各个任务调度到各个计算节点上执行；处理节点在作业执行过程中向控制节点报告作业执行情况，处理节点作业执行完毕后向控制节点返回处理完成消息，并向FTP服务器返回结果文件，控制节点异步接收作业执行结果。

6.一种作业状态监控方法，其特征在于其监控方法包括：任务节点向控制节点发送任务运行状态信息，包括任务的中间进度状态、错误或异常，控制节点根据异常或错误情况进行异常处理或停止；控制节点在没有收到任务节点心跳信息的情况下，启动心跳测试，测试节点是否存活，在节点已崩溃情况下将所有未完成任务重新调度；

所述控制节点的详细结构包括：

作业控制模块，负责作业控制命令的接收和作业调度，发送作业部署、启动、停止、暂停、重试和心跳测试等命令；

监控模块，负责追踪作业的生命周期，当出现异常时进行容错处理，同时监控处理节点的加入和退出、作业队列、作业运行情况和资源使用情况。

7.根据权利要求6所述的一种作业状态监控方法，其特征在于：该作业的任务状态包括中间状态、异常和错误，其中，中间状态是指作业处于正常运行的某个进度状态，异常是指作业可通过重试或异常处理恢复正常处理的状态，错误是指任务不可通过异常处理恢复运行的状态。