[发明专利]一种任务处理方法、装置、设备和介质

说明书

本发明实施例公开了一种任务处理方法、装置、设备和介质。其中，该方法包括：根据用户任务需要的任务资源信息，向容器编排模块发送容器分配请求，以指示所述容器编排模块根据所述任务资源信息确定至少一个目标容器；根据所述容器编排模块反馈的至少一个目标容器的标识，控制所述至少一个目标容器执行用户任务。通过本发明实施例提供的技术方案，能够实现最大化集群资源利用率。

技术领域

本发明实施例涉及计算机软件技术领域，尤其涉及一种任务处理方法、装置、设备和介质。

背景技术

互联网公司的大量业务依赖运行于普通商品化计算机集群上的MPI(MessagePassing Interface，消息传递接口)计算作业，一个易用稳定的MPI作业管理系统有助于提升业务的迭代速度和提高集群资源的利用率。

目前普遍采用便携式批处理系统(PBS，Portable Batch System)是一类常见的MPI集群作业管理和资源调度系统，最初由美国国家航空航天局(NASA，NationalAeronautics and Space Administration)的Ames研究中心开发，主要包括开放PBS(OpenPBS)、PBS专业版(PBSPro，PBS Professional)和托尔克(Torque)三个分支。其中Torque在2018年前是开源免费软件，应用广泛，支持在MPI集群上对不同任务进行管理和资源的分配，提供对批处理任务和分散的计算节点的控制，支持任务提交、队列管理、超时中止、任务运行状态查看等，但是Torque方式资源利用率低，容易造成集群资源浪费。

发明内容

本发明实施例提供一种任务处理方法、装置、设备和介质，以实现最大化集群资源利用率。

第一方面，本发明实施例提供了一种任务处理方法，该方法包括：

根据用户任务需要的任务资源信息，向容器编排模块发送容器分配请求，以指示所述容器编排模块根据所述任务资源信息确定至少一个目标容器；

根据所述容器编排模块反馈的至少一个目标容器的标识，控制所述至少一个目标容器执行用户任务。

第二方面，本发明实施例还提供了一种任务处理方法，该方法包括：

接收作业管理模块根据用户任务需要的任务资源信息发送的容器分配请求；

根据所述任务资源信息确定至少一个目标容器，并向所述作业管理模块反馈所述至少一个目标容器的标识，以使所述作业管理模块依据所述至少一个目标容器的标识，控制所述至少一个目标容器执行用户任务。

第三方面，本发明实施例还提供了一种任务处理装置，该装置包括：

分配请求发送模块，用于根据用户任务需要的任务资源信息，向容器编排模块发送容器分配请求，以指示所述容器编排模块根据所述任务资源信息确定至少一个目标容器；

任务执行模块，用于根据所述容器编排模块反馈的至少一个目标容器的标识，控制所述至少一个目标容器执行用户任务。

第四方面，本发明实施例还提供了一种任务处理装置，该装置包括：

分配请求接收模块，用于接收作业管理模块根据用户任务需要的任务资源信息发送的容器分配请求；

标识反馈模块，用于根据所述任务资源信息确定至少一个目标容器，并向所述作业管理模块反馈所述至少一个目标容器的标识，以使所述作业管理模块依据所述至少一个目标容器的标识，控制所述至少一个目标容器执行用户任务。

第五方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；