[发明专利]作业处理方法和系统

说明书

技术领域

本发明涉及数据处理技术领域，更具体的说是涉及一种作业处理方法和系统。

背景技术

作业一般是指放在后台运行并且不需要与用户进行交互的、大数据量的处理程序，批量作业即是指这样的批量处理程序。

在很多大中型企业，尤其是金融、电信等领域的信息系统当中，都存在大量的复杂的自动化批量处理业务需求。显著增多的多样性的任务已代替了早先的批量作业，并且作业的规模与复杂性仍在持续的上扬。面对企业信息化的飞速发展的需要，对批量处理系统在性能、开发框架统一化等方面的研究也越来越深入。

目前，一种批量处理系统，设置有总控端和多个应用端组成的应用集群，总控端是批量作业处理的控制者和发起者，应用端是完成批量作业的业务操作的接收者和执行者。由总控端获取批量作业以及待处理的数据，从数据库中获取批量作业的执行顺序，将作业进行分发，由应用集群中的多个应用端获取并执行所述作业，从而完成作业要执行的任务。在这种批量处理系统中，由总控端将需要批量处理的作业分发给多个应用端执行，使得作业分发和作业执行分开，从而可提高批量作业的处理效率。

但是，在这种批量处理系统中，虽然可以将批量作业分发给多个应用端执行，但是一个作业只能在一个应用端上执行，当应用端需要处理的作业为一个大作业时，大作业即是指对资源和时间要求很高，在执行上有重复性的循环操作，或者执行过程可能很耗时的处理任务，由于其处理过程复杂，涉及的数据量大，造成应用端的处理压力，即便采用所述的批量处理系统，仍然会影响作业处理的效率。

发明内容

有鉴于此，本发明提供一种作业处理方法和系统，用于解决作业处理效率低的问题。

为实现上述目的，本发明提供如下技术方案：

一种作业处理方法，所述方法包括：

当待处理的作业为大作业时，获取所述大作业预先定义好的拆分算法；

将所述拆分算法和大作业发送给中间服务器，以便于应用集群中的可用应用端获取所述拆分算法，并执行所述拆分算法将所述大作业拆分成分作业；

接收所述可用应用端经中间服务器返回的所述分作业；

将所述分作业经中间服务器分发给应用集群中的应用端，以便于应用端执行所述分作业。

优选地，所述方法还包括：

当确定可用应用端执行所述拆分算法失败时，将所述大作业经中间服务器发送给应用端，以便于应用端执行所述大作业。

优选地，确定可用应用端执行所述拆分算法失败包括：

当接收到可用应用端经中间服务器返回的错误信息时，确定可用应用端执行所述拆分算法失败。

优选地，当所述待处理的大作业数量为多个时，所述将所述分作业经中间服务器分发给应用集群中的应用端包括：

将不同大作业拆分出的分作业按照原有大作业间的逻辑关系进行组合；

将所述组合后的分作业经中间服务器分发给应用集群中的应用端。

优选地，所述拆分算法根据所述大作业实现的业务操作的业务规则定义。

一种作业处理系统，所述系统包括总控端、中间服务器和由应用端组成的应用集群，

所述总控端，用于当待处理的作业为大作业时，获取所述大作业预先定义好的拆分算法；将所述拆分算法和大作业发送给中间服务器，从所述中间服务器中获取拆分后的分作业；将所述分作业经中间服务器分发给应用集群中的应用端；

中间服务器，用于接收总控端发送的作业和拆分算法并向应用端提供所述作业和拆分算法，并将应用端的执行结果反馈给总控端；

应用端，用于执行拆分算法将所述大作业拆分成分作业，并经中间服务器返回给总控端；执行总控端经中间服务器发送的作业。

优选地，所述总控端包括：

获取单元，用于当待处理的作业为大作业时，获取所述大作业预先定义的拆分算法；

第一发送单元，用于将所述拆分算法和大作业发送给中间服务器；

第一接收单元，用于接收应用端经中间服务器返回的所述分作业；

第二发送单元，用于将所述分作业经中间服务器分发给应用集群中的应用端。

优选地，所述总控端还包括：

确定单元，用于确定可用应用端执行所述拆分算法失败；

第三发送单元，用于将所述大作业经中间服务器发送给应用端。

优选地，所述确定单元具体用于当接收应用端经中间服务器返回的错误信息时，确定可用应用端执行所述拆分算法失败。

优选地，所述总控端还包括：

组合单元，用于当所述待处理的大作业数量为多个时，将不同大作业拆分出的分作业按照原有大作业间的逻辑关系进行组合，则，