[发明专利]一种适用于多租户场景的并行计算管理方法及系统

权利要求书

1.一种适用于多租户场景的并行计算管理方法，其特征在于，包括如下步骤：

S1：接收到用户提交的任务M后，解析任务M所需的硬件资源；

S2：判断当前集群计算节点资源是否满足任务M所需的硬件资源；若是，执行步骤S5；若否，执行步骤S3；

S3：判断当前内存空间是否存在优先级低于任务M的优先级的任务，若是，执行步骤S4；若否，执行步骤S7；

S4：将当前内存空间内优先级低于任务M的优先级的任务进行迁移或挂起；执行步骤S5；

S5：在各计算节点内存空间中开辟内存分区，下发并行任务M；执行步骤S6；

S6：任务M结束后，判断是否立即回收内存；若是，回收内存，若否，结束；

S7：将任务M放入等待队列，设定时间后，执行步骤S2。

2.根据权利要求1所述的适用于多租户场景的并行计算管理方法，其特征在于，步骤S4中，将当前内存空间内优先级低于任务M的优先级的任务进行迁移或挂起的步骤包括：

S41：将当前内存空间内优先级低于任务M的优先级的任务进行迁移或挂起；

S42：任务进行迁移或挂起后，获取当前集群节点资源；

S43：判断当前集群节点资源是否满足任务M所需的硬件资源，若是，执行步骤S5；若否，执行步骤S7。

3.根据权利要求1所述的适用于多租户场景的并行计算管理方法，其特征在于，步骤S6中，任务M结束后，判断是否立即回收内存的步骤包括：

S61：任务M结束后，获取已结束任务在各个计算节点中的内存占用情况；

S62：判断整个集群负载是否低于设定阈值，若是，执行步骤S63；若否，执行步骤S64；

S63：直接清理任务M对应的内存分区；

S64：清理任务M对应的内存分区，并将集群内其他任务所占的分区前移到内存区域头部。

4.根据权利要求3所述的适用于多租户场景的并行计算管理方法，其特征在于，该方法还包括：

清理任务M对应的内存分区后，获取当前集群计算节点上运行的任务的内存；

计算各个计算节点上运行的任务的内存总和；

判断当前集群中是否存在空闲内存空间大于计算的内存总的计算节点，若是，将各个计算节点上运行的任务迁移到该计算节点上。

5.根据权利要求4所述的适用于多租户场景的并行计算管理方法，其特征在于，判断当前集群中是否存在空闲内存空间大于计算的内存总的计算节点，若是，将各个计算节点上运行的任务迁移到该计算节点上的步骤还包括：

判断当前集群中是否存在空闲内存空间大于计算的内存总的计算节点；

若是，将每个计算节点的空闲内存空间分别与计算的内存总和做差；将各个计算节点上运行的任务迁移到差值最小的计算节点上。

6.根据权利要求4所述的适用于多租户场景的并行计算管理方法，其特征在于，步骤S5中，在各计算节点内存空间中开辟内存分区的步骤包括:

在各计算节点内存空间中开辟内存分区；

每个内存分区设置具有任务与用户相关的标识信息的数据头部；

基于内存分区的数据头部，对内存进行基于用户或者任务的开辟与预留。

7.根据权利要求4所述的适用于多租户场景的并行计算管理方法，其特征在于，将当前内存空间内优先级低于任务M的优先级的任务进行迁移或挂起的步骤中，将当前内存空间内优先级低于任务M的优先级的任务进行迁移包括：

通过计算节点之间的高速网络，将内存分区直接拷贝到其他计算节点的空闲内存区域；

将当前内存空间内优先级低于任务M的优先级的任务进行挂起的步骤包括：

内存分区进行快照，存储到本地高速硬盘中；

当优先级高的任务或者更占用内存的任务结束执行并释放内存时，再将任务还原到内存中继续运行。

8.根据权利要求6所述的适用于多租户场景的并行计算管理方法，其特征在于，标识信息包括内存分区所属的任务ID、内存分区所属的用户ID、当所属的用户不再活跃或者任务结束时，是否保留此内存区域不被回收。