[发明专利]针对可执行程序的分布式云计算系统及针对可执行程序的分布式云计算方法

说明书

技术领域

    本发明涉及分布式云计算领域，具体来说，涉及在分布式环境下，利用云存储在各节点之间完成数据交换、对任务进行调度和自动调用可执行程序来自动化处理任务的方法，尤其涉及针对可执行程序的分布式云计算系统及针对可执行程序的分布式云计算方法。

背景技术

传统计算机程序的执行需要用户在程序所在的机器上输入命令或通过图形界面来完成，其中很多程序的任务都是处理文件系统中的文件。这种方式被广泛地运用于企业和科研机构，他们出于自己的业务需求或研究需要，要经常运行相同的程序。这些程序的处理流程基本都是相同的，即读取文件、处理数据、最后以文件形式将结果输出。然而，这种方式在扩展性上有很大的问题。当数据量增大，处理时间变长时，一台机器将没有足够的性能来完成任务，那么势必要增加新的机器来分摊任务。而当机器变得很多的时候，在每台机器上都要人工执行及其相似的操作。这样的工作繁琐而机械，并且很不利于管理，将大大增加人力成本，另外容易出现某台机器处于任务饱和状态，和其他机器处于空闲状态，其整体的计算机性能无法进行优化。而通过分布式计算方式，将一个任务进行分配，然后让多台机器对同一个任务进行计算，最后由一台计算机进行对任务处理结果的整合，优先该处理方式需要解决任务处理的算法问题，另外，当任务处理中某台机器出现无法响应亦或者某台机器出现问题时，则后续的任务无法进行处理，即容易出现一个任务的执行失败，导致整个工程的执行失败，以及后续任务执行的推延。

发明内容

     针对上述技术缺陷，本发明提出针对可执行程序的分布式云计算系统及针对可执行程序的分布式云计算方法。

    为了解决上述技术问题， 本发明的技术方案如下：

针对可执行程序的分布式云计算系统，包括调度服务器、计算服务器和云存储服务器；

所述调度服务器用于创建工程及该工程包含的任务，并将该任务分配至计算服务器；

所述计算服务器用于接受调度服务器分配的任务，并自动调用事先配置的可执行程序对该任务进行执行处理；

所述云存储服务器用于所述调度服务器创建工程及任务分配时资源文件的存储、所述计算服务器获取执行任务需要的资源文件的存储、所述计算服务器上传执行任务后的结果文件。

    进一步的，所述调度服务器根据工程的优先级以及工程中任务的优先级进行分配，所述调度服务器实时监控计算服务器，根据计算服务器的请求，将任务分配至空闲的计算机服务器中。

    进一步的，当计算服务器出现执行任务出错时，如果出现的出错是可恢复的，则调度服务器重置该任务，并分配该任务至其他空闲的计算服务器执行该任务；如果出现的出错是不可恢复的，则所述计算服务器停止执行该任务，所述调度服务器则停止分配该任务；当计算服务器执行任务的时间超过阈值，调度服务器将重置该任务，并分配该任务至其他空闲的计算服务器；如果调度服务器监控得到计算服务器出现问题无法执行分配的任务，则重置该任务，并分配该任务至其他空闲的计算服务器。对于一个任务，重置次数有限制，超过这个限制则所述调度服务器则停止重置和分配该任务

通用的分布式云计算方法，包括如下步骤：

41）调度服务器接受用户创建工程的请求，创建出新的工程和与该工程关联的若干个任务，并设定该工程以及任务的优先级，从而得到任务及工程的排队执行列表；

42）调度服务器根据计算服务器的请求，根据优先级从调度服务器领取任务，此时调度服务器将该被领取的任务标记为进行中；

43）计算服务器从云存储服务器上获取执行此任务需要的资源文件；

44）计算服务器运行配置的可执行程序，执行此任务；

45）完成此任务后，计算服务器向调度服务器请求将任务状态标为完成中，请求被调度服务器接受则上传运行结果到云存储服务器；

46）运行结果上传完毕，任务状态标为完成。

    进一步的，所述步骤41）中的优先级可进行干预，调度服务器可根据优先级的高低，插入或者暂缓排队执行列表中的任务或者工程。

    进一步的，在所述步骤45）中，为了防止同一个任务被多次提交，只有当任务的状态不为完成或不为完成中时，调度服务器才接受把状态标为完成中的请求。

    进一步的，当计算服务器执行任务时发生不可恢复的错误，调度服务器将任务的状态会被直接标为失败，此任务将不再被执行；而当计算服务器执行任务时发生可恢复错误，则调度服务器将任务重置为开始，此任务将分配给其他的计算服务器执行。