[发明专利]一种分布式任务调度系统及方法

说明书

本发明公开了一种分布式任务调度系统及方法，该系统包括提交模块、调度模块、数据存储模块、执行模块和监视模块，所述分布式任务调度方法为：监视模块获取执行模块的使用信息；提交模块将文件解析任务提交给调度模块后，调度模块为每一个文件解析任务生成与之对应任务标识，并将文件解析任务放入到数据存储模块中进行存储，获取监视模块中存储的执行模块的使用信息，得到可用的执行模块，将文件解析任务分别发送至所述执行模块；执行模块对所述任务进行相应的执行处理，并将执行结果反馈给所述调度模块。通过本发明解决了任务执行分发时的低实时性和用户感知较低的问题。

技术领域

本发明涉及任务调度技术领域，特别是涉及一种基于硬件资源的分布式任务调度系统及方法.

背景技术

最近几年，随着移动互联网技术的高速发展和网络的不断升级，相应的网络用户的数量也逐渐增多并且网络设备不断升级。这样用户在网络通信过程中，随之产生的话单和LET数据等也成倍增加，运行商服务器上的文件数量也会相应地增长。

针对服务器上的大而多的数据文件，现有的方式是单台服务器开启多个线程对同类型的文件进行解析，并通过线程对文件进行分发解析。但是，这种方式会造成单台服务器资源负载过高以及解析不及时等问题，从而降低了用户的认可度和感知度。如何解决上述问题，已成为目前研究的重点。

发明内容

针对于上述问题，本发明提供一种分布式任务调度系统和方法，解决了任务执行的低实时性和用户感知较低的问题。

为了实现上述目的，根据本发明的第一方面，提供了一种分布式任务调度系统，该系统包括：提交模块、调度模块、数据存储模块、执行模块和监视模块，其中，

所述监视模块，用于对所述执行模块进行监视，获取所述执行模块的使用信息；

所述提交模块，用于将文件解析任务提交给所述调度模块；

所述调度模块，用于接收到文件解析任务后，为每一个文件解析任务生成与之对应任务标识，并将所述文件解析任务放入到数据存储模块中进行存储，获取所述监视模块中存储的执行模块的使用信息，得到可用的执行模块，将所述文件解析任务分别发送至所述执行模块；

所述数据存储模块，用于存储所述文件解析任务的相关数据；

所述执行模块，用于接收到所述文件解析任务后，对所述任务进行相应的执行处理，并将执行结果反馈给所述调度模块。

优选的，所述执行模块包括存储单元和询问单元，在所述执行模块接收到所述文件解析任务后，对所述任务进行相应的执行处理，并将执行结果反馈给所述调度模块之后，

所述存储单元，用于当所述调度模块出现故障时，存储所述文件解析任务和所述文件解析任务对应的执行结果；

所述询问单元，用于当将执行结果反馈给所述调度模块时，询问所述调度模块是否有新的文件解析任务需要执行。

优选的，所述调度模块包括日志生成单元和判断单元，当所述执行模块将执行结果反馈给所述调度模块后，

所述日志生成单元，用于根据所述执行结果生成任务执行日志，并将所述任务执行日志存储至所述数据存储模块；

所述判断单元，用于根据所述执行结果判断是否要将所述执行结果反馈给所述提取模块，如果否，则将所述执行结果删除，如果是，则将所述执行结果发送至所述提取模块。

优选的，所述提取模块还包括处理单元，当所述判断单元将所述执行结果发送至所述提取模块时，

所述处理单元，用于根据所述执行结果进行相应的响应。