[发明专利]资源调度方法、信息管理方法和装置及任务部署系统

说明书

本申请公开了一种资源调度方法、信息管理方法和装置及任务部署系统，属于大数据技术领域。在该任务部署系统中，计算节点向元数据服务器发送位置信息请求，所述位置信息请求用于请求所述计算节点待执行的任务所需处理的数据的位置信息；接收所述元数据服务器返回的位置信息应答，所述位置信息应答包括所述待执行的任务所需处理的数据的位置信息；向资源管理器节点发送任务部署请求，所述任务部署请求包括所述待执行的任务的标识、数据中心的标识和计算节点的标识；资源管理器节点根据所述任务部署请求确定部署所述待执行的任务的数据中心，从而实现跨数据中心的任务部署。

技术领域

本申请涉及计算机技术领域，特别涉及一种资源调度方法、信息管理方法和装置及任务部署系统。

背景技术

在业界，大数据(big data)有多种定义，例如研究机构Gartner给出的定义为：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据可以应用于多种场景，例如大规模并行处理数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统等。通过与大数据相关的技术对数据进行“加工”，从而提高了数据的应用价值。

随着大数据业务的飞速发展，数据中心(Data Center，DC)集群的规模也逐步扩大，需要通过集群资源调度系统来对DC集群的资源进行统一调度。相关技术中，DC集群的每个DC中均设置有一个独立的分布式资源调度系统和一个独立的分布式文件系统，每个DC通过分布式文件系统实现本地数据的存储和管理，通过分布式资源调度系统实现本地资源的调度和管理，各个DC之间定期进行跨DC的数据同步，保证每个DC都能够获取到其他DC上的数据以执行任务。

在实现本申请的过程中，发明人发现现有技术至少存在以下问题：在一个DC中发起的任务需要跨DC的数据来执行的情况下，现有技术使用定时将其他DC的数据同步到该DC上的方式在该DC中执行，这样该任务的处理延时较大，且数据的同步造成了资源的浪费。

发明内容

为了解决现有技术中DC只能采用本地资源执行任务的问题，本发明实施例提供了一种资源调度方法、信息管理方法和装置及任务部署系统，使得DC能够利用其他DC的资源执行任务，无需先将其他DC上的数据同步到本地，从而减小了任务处理延时。所述技术方案如下：

第一方面，提供了一种任务部署系统，所述任务部署系统包括第一计算节点和第一资源管理器节点，所述第一计算节点和第一资源管理器节点属于第一数据中心；

所述第一计算节点，用于向第一资源管理器节点发送第一任务部署请求，所述第一任务部署请求包括一任务的标识、一数据中心的标识和所述数据中心中一计算节点的标识，所述数据中心的标识用于指示将部署所述任务的数据中心；所述第一资源管理器节点，用于接收所述第一计算节点发送的第一任务部署请求；在所述数据中心的标识指示除所述第一数据中心之外的数据中心的情况下，向所述数据中心的标识对应的数据中心中的资源管理器节点发送第二任务部署请求，所述第二任务部署请求用于向所述数据中心部署所述任务，所述第二任务部署请求包括所述数据中心的标识、所述任务的标识和所述数据中心中一计算节点的标识。

本申请提供了一种任务部署系统，包括计算节点和资源管理器节点，计算节点在执行任务时，向同数据中心内的资源管理节点发送任务部署请求，该资源管理请求中携带要执行的任务的标识，以及任务所要处理的数据所在的数据中心和计算节点的标识，资源管理器节点接收任务部署请求，在任务部署请求包括其他数据中心的标识时，则将任务部署请求发送到其他数据中心，由其他具有待执行的任务所需处理的数据所在的数据中心来部署该任务，这样在本地没有任务所需的数据时，可以实现任务的异地处理，实现了异地数据的实时共享，无需依靠数据同步将其他数据中心的数据同步到本地，任务处理延时较小，减少了资源浪费。