[发明专利]用于执行MPI作业的方法和装置

说明书

本申请实施例公开了用于执行MPI作业的方法和装置。本申请涉及云计算领域。该方法的一具体实施方式包括：响应于检测到执行MPI作业的执行请求，将当前时间记录为MPI作业的启动时间，确定MPI作业的运行状态为初始化状态；按照与MPI作业对应的资源配置信息创建与MPI作业对应的Pod；生成与MPI作业对应的公钥和私钥，以及将公钥和私钥挂载到与MPI作业对应的Pod中；将MPI作业的运行状态更新为创建中；利用与MPI作业对应的各个Pod执行MPI作业，以及在执行MPI作业的过程中，实时根据与MPI作业对应的各个Pod的运行状态，更新MPI作业的运行状态。该实施方式实现了在云计算中，无需用户为k8s平台上执行MPI作业进行生命周期管控而进行代码编写，简化了用户操作。

技术领域

本申请实施例涉及计算机技术领域，具体涉及用于执行MPI作业的方法和装置。

背景技术

现有技术中通常采用虚拟机技术来搭建分布式系统，而容器虚拟化技术，作为一种能够替代传统虚拟化技术的解决方案，凭借其高效性和可靠性得到了快速发展。容器虚拟化技术可以隔离运行在主机上的不同进程，从而达到进程之间、进程和宿主操作系统之间相互隔离、互不影响。容器集群管理技术是对分布式硬件资源上的大量容器进行管理的技术。通过容器集群管理技术可以屏蔽分布式带来的分散管理的问题，提供更高层视图对容器、计算、存储、网络等资源进行统一管理，具备代表性的如Kubernetes和mesosmarathon等。其中，Kubernetes是基于Google borg(集群管理器)开发的面向容器的容器集群管理平台，它基于容器技术等对底层的主机、网络和存储资源进行统一管理，其提供应用部署、维护、扩展机制等功能，利用k8s能方便地管理跨机器运行容器化的应用。

批量计算是一种适用于大规模并行批处理作业的分布式云服务。其中，作业是指进行批处理的最小单位。通常一个作业由单个或多个具有依赖关系的任务组成。MPI作业是遵守MPI协议的作业。MPI(Message Passing Interface，信息传递接口)是一个跨语言的通讯协议，用于编写并行计算机程序，在机器学习、大数据等领域拥有广泛的应用前景。

将MPI作业基于容器运行于k8s之上可以进行有效的资源隔离，防止相互干扰。目前，大都通过手工编写脚本或者代码以实现对MPI作业的生命周期进行管控。

发明内容

本申请实施例提出了用于执行MPI作业的方法和装置。

第一方面，本申请实施例提供了一种用于执行MPI作业的方法，该方法包括：响应于检测到执行MPI作业的执行请求，将当前时间记录为MPI作业的启动时间，确定MPI作业的运行状态为初始化状态；按照与MPI作业对应的资源配置信息创建与MPI作业对应的Pod；生成与MPI作业对应的公钥和私钥，以及将公钥和私钥挂载到与MPI作业对应的Pod中；将MPI作业的运行状态更新为创建中；利用与MPI作业对应的各个Pod执行MPI作业，以及在执行MPI作业的过程中，实时根据与MPI作业对应的各个Pod的运行状态，更新MPI作业的运行状态。

在一些实施例中，按照与MPI作业对应的资源配置信息创建与MPI作业对应的Pod，包括：从与MPI作业对应的作业描述文件中读取资源配置信息；以及按照所读取的资源配置信息创建与MPI作业对应的Pod。

在一些实施例中，按照所读取的资源配置信息创建与MPI作业对应的Pod，包括：按照所读取的资源配置信息创建与MPI作业对应的主进程Pod和工作进程Pod。