[发明专利]一种作业调度管理系统及方法

摘要

本发明提供一种作业调度管理系统及方法，其结构包括FTP服务器、客户端、一个控制节点和若干处理节点，其具体方法为任务节点向控制节点发送任务运行状态信息，包括任务的中间进度状态、错误或异常，控制节点根据异常或错误情况进行异常处理或停止；控制节点在没有收到任务节点心跳信息的情况下，启动心跳测试，测试节点是否存活，在节点已崩溃情况下将所有未完成任务重新调度。该一种作业调度管理系统及方法和现有技术相比，完善了大数据处理软件层次栈，使Hadoop能够突破单个数据中心的资源伸缩瓶颈和业务扩展限制，促进多数据中心的融合，进一步扩展计算能力、提高资源利用率。

主权项

一种作业调度管理系统，其特征在于：包括FTP服务器、客户端、一个控制节点和若干处理节点，其中客户端：将作业包发送给FTP服务器、将控制命令发送给控制节点；控制节点：接收来自客户端的控制命令，接收来自FTP服务器的数据信息、接收来自处理节点的状态信息、发送相关控制命令给处理节点；处理节点：接收来自FTP服务器的数据信息、发送结果文件给FTP服务器、发送状态信息给控制节点、接收来自控制节点的控制命令；FTP服务器：接收来自客户端的作业包和来自处理节点的结果文件，并发送数据信息给控制节点和处理节点；所述控制节点的详细结构包括：作业控制模块，负责作业控制命令的接收和作业调度，发送作业部署、启动、停止、暂停、重试和心跳测试等命令；监控模块，负责追踪作业的生命周期，当出现异常时进行容错处理，同时监控处理节点的加入和退出、作业队列、作业运行情况和资源使用情况。