[实用新型]分布式计算任务调度及执行系统

说明书

技术领域

本实用新型涉及一种分布式计算任务调度及执行系统。

背景技术

随着科学技术的发展，从宏观的星图描绘到微观的粒子结构的研究，从军事领域的模拟核试验到生物领域的后基因组计划的解读，再到大规模网络测量、仿真与模拟等等，这些重大挑战性计算问题均需要跨管理域利用大量分布式计算任务调度及执行资源，随着人们对信息数据日益广泛的需求，使得传统的分布式计算任务调度及执行无法满足日益膨胀的需求。传统的分布式计算任务调度及执行系统无法将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，无法在控制系统的统一管理控制下，协调地完成信息处理任务，无法在短时间内动态地组合成面向不同服务对象的系统，系统无法根据用户的需求为用户提供相应服务。传统的分布式任务调度及执行系统对任务的几种状态中，大多规定“刚分配”和“已完成”两种状态为零容忍状态，在DSC的连续状态汇报中，如果因为网络的瞬时故障（这在复杂的分布式环境中是允许出现的）造成零容忍状态丢失或者被覆盖，就会造成任务的分配混乱或者再次分配同一条任务，如果任务的结果信息丢失，长时间完成的成果（比如转码成果）就会成为垃圾。

实用新型内容

本实用新型的目的在于解决现有技术的不足，提供一种分布式计算任务调度及执行系统，各设备间互为热备，负载均衡，若用户端发生故障，该用户可跨版块执行任务调度和服务请求，提升了系统可靠性，且每个DSC及其承载计算机的负载大小是动态变化的，对零容忍状态的保存采用三级容错技术，确保不会因为系统的失效而丢失关键信息，心跳探测不受系统负荷影响，从而避免了在高负荷状态下心跳超时所导致的误切换。

本实用新型的目的是通过以下技术方案来实现的：分布式计算任务调度及执行系统，它包括云计算业务应用中心、云计算辅助监管中心、云计算平台和一个或多个用户端，云计算平台由防火墙、一个或多个负载均衡器、一个或多个平台管理工作站、一个或多个防病毒服务器、一个或多个动环服务器、云计算服务池和云计算资源池组成，用户端与云计算业务应用中心连接，云计算业务应用中心、云计算辅助监管中心分别通过专线与云计算平台的防火墙连接，防火墙、负载均衡器、平台管理工作站、防病毒服务器、动环服务器、云计算服务池和云计算资源池通过网络设备互连。

所述的云计算辅助监管中心由一个或多个动环工作站和一个或多个网管工作站组成；

所述的云计算服务池由通过网络设备互连的一个或多个WEB及应用服务器集群、一个或多个计算数据交换区集群和一个或多个主、备资源及任务调度服务器，以及一个或多个主、备云平台元数据库和一个或多个主、备云平台流媒体服务器组成；所述的云计算资源池由通过网络设备互连的一个或多个计算虚拟池和一个或多个存储虚拟池组成。

本实用新型的有益效果是： 

（1）本实用新型提供一种分布式计算任务调度及执行系统，采用基于Big-Cluster的大平台集群技术作为多个分布式计算任务调度及执行系统（媒体服务中心）间的集群架构，除了单一分布式计算任务调度及执行系统内的处理相同业务的软或者硬件进行多机冗余热备外，分布式计算任务调度及执行系统之间可以互为热备，负载均衡，如果用户板块内的分布式计算任务调度及执行系统发生故障，该用户可以跨版块进行分布式任务调度和服务请求处理，其结果对用户来说完全是透明的，自动转移的，提升了电视台分布式计算任务调度及执行系统整体的可靠性；

（2）本实用新型提供一种分布式计算任务调度及执行系统，采用基于Multi-Agent分布式任务调度技术，使得分布式计算任务调度及执行系统内的每个DSC及其承载计算机的负载大小是动态变化的，根据该系统当前的负载状况，采取有效的动态任务调度策略来平衡各结点（机）的负载，把当前重载计算机上的任务传送到轻载计算机上执行，或者把新任务分配给轻载计算机上执行，从而使任务尽可能地并行执行，提高整个系统的资源利用率及效率；

（3）本实用新型提供一种分布式计算任务调度及执行系统，采用基于Intelli-DSC的分布式并行任务处理技术，使得DSC能够进行自我管理、智能恢复、主动克隆等先进技术。在任务执行前，DSC是处于休眠状态的，调度中心根据任务的处理需求，会把任务分解成颗粒适中的任务切片，每个切片对应一个DSC进程实例，系统根据任务切片的多少，唤醒并自动的（智能的）克隆对应数量的DSC（可以是本版块内的DSC进程实例，也可以是跨版块的DSC进程实例）实例数量，保证DSC的处理数量与当前的工作量相匹配，并均衡负载；