[发明专利]基于slurm计算平台的多任务提交系统

说明书

本发明公开了一种基于slurm计算平台的多任务提交系统，包括运行环境部署模块、计算任务调度插件模块、计算任务运行数据存储管理模块、统一API接口模块、任务数据统一管理模块。本发明简便的任务提交查看API接口，轻易的作为插件接入到任务提交与监控服务；使用NAS进行任务运行环境和任务运行数据管理，简化用户数据管理操作，高效完成数据准备收集与查看；对接NAS+slurm是该插件的固化使用方案，用户可以基于本发明实现逻辑轻松转接到sge集群或云端计算调度器以及相辅的存储服务。

技术领域

本发明属于计算机服务端技术领域，具体涉及一种基于机器学习的自由能微扰网络设计方法。

背景技术

Slurm是一个用于Linux和Unix内核系统的任务调度工具。它提供了三个关键功能。第一，为用户分配一定时间的专享或非专享的资源(计算机节点)，以供用户执行工作。第二，它提供了一个框架，用于启动、执行、监测在节点上运行着的任务(通常是并行的任务，例如 MPI)，第三，为任务队列合理地分配资源。

Python是一种面向对象的、动态的程序设计语言。具有非常简洁而清晰的语法，适合于完成各种高层任务。它既可以用来快速开发程序脚本，也可以用来开发大规模的软件。使用Python进行计算脚本开发，便捷高效。

Conda是一个开源、跨平台、语言无关的包管理与环境管理系统。由“连续统分析”（Continuum Analytics）基于BSD许可证发布。Conda允许用户方便地安装不同版本的二进制软件包与该计算平台需要的所有库。还允许用户在不同版本的包之间切换、从一个软件仓库下载包并安装。Conda是用Python语言开发，但能管理其他编程语言的项目（如R语言），包括多语言项目。Conda可安装Python语言的包，类似于其他基于Python的跨平台包管理器（如wheel或pip）。

Slurm提交的任务运行环境由计算机节点本身环境所决定，而用户提交的任务的实际运行环境往往包含特殊的库与软件。用户通常只会往Slurm提交一个bash脚本，并在脚本中定义实际的python脚本并且指定解释器或者R等其他语言的脚本及指定解释器。

这一方法本身已然足够满足用户使用Slurm进行大规模并行计算的需求，但是，该方法并不高效。主要体现在以下几个方面：

1. 对于用户而言实际有价值的计算逻辑往往定义在非bash脚本（如Python或R）中，但是为了能在Slurm集群中运行大批量的计算任务，需要额外花费时间去编写支持在Slurm运行的bash脚本以及进行相应的脚本调试，长此以往将耗费一定精力与时间。

2. 在直接使用slurm的过程中，用户需要自行管理任务的输入输出及错误等数据（文件），增加使用slurm的准备工作。

Slurm运行任务在一个独立的计算节点中，用户需要手动为每一个任务预备计算环境并在每一次任务投递时主动指定计算环境。

发明内容

针对上述技术问题，本发明的目的在于提供一种基于slurm计算平台的多任务提交系统，使用一个服务端进行任务提交与管理，并在服务端集成不同运行任务所需要的数据准备与环境准备，从而满足用户使用相同的接口不同的参数快速完成计算任务提交到slurm集群的操作。

为实现上述目的，本发明提供如下技术方案：

基于slurm计算平台的多任务提交系统，包括运行环境部署模块、计算任务调度插件模块、计算任务运行数据存储管理模块、统一API接口模块、任务数据统一管理模块。

具体的，所述的运行环境部署模块，对于基于python编写的计算脚本，用户使用Conda进行环境部署。在NAS上预备一个路径安装Conda，再创建env并安装所有的依赖包。最后提供该env下的python解释器。