[发明专利]集群任务前置调度分配方法、装置、介质及计算机设备

说明书

本发明公开了一种集群任务前置调度分配方法、装置、介质及计算机设备，其中方法包括：建立集群队列数据库表，并配置动态参数任务，其中，动态参数任务包括队列；根据动态参数任务查询队列在集群队列数据库表中的资源使用情况，并根据队列在集群队列数据库表中的资源使用情况获取可使用资源表；对可使用资源表进行排序，并根据排序结果确定动态参数任务的任务参数；将携带任务参数的任务提交到集群调度系统，以便集群调度系统分配并执行携带任务参数的任务。由此，能够有效降低对资源使用造成的浪费，提高资源利用率，同时能够有效加快任务执行速度，使得资源得到更快地释放，且普适性高。

技术领域

本发明涉及集群应用技术领域，尤其涉及一种集群任务前置调度分配方法、装置、介质及计算机设备。

背景技术

在进行生物信息学分析时，往往需要在高性能的服务器集群上执行投递任务。该服务器集群通常由登录节点和计算节点组成，其中登录节点用来执行简单的Linux命令，不能执行消耗资源大的任务，而消耗资源大的任务将由登录节点投递至计算节点。

相关技术中，通常在确定完需要投递的任务的内存、线程数和队列等参数后，直接提交任务到任务调度系统，由任务调度系统对该任务进行分配，在满足条件的计算节点执行该任务。采用上述技术时，往往通过软件默认的线程和内存参数来投递任务，但是在集群资源闲置率很高的情况下，使用默认参数设定好每个任务所需的资源，会对资源使用造成浪费，同时影响任务执行速度，导致资源不能快速释放，以至于资源利用率低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种集群任务前置调度分配方法，能够有效降低对资源使用造成的浪费，提高资源利用率，同时能够有效加快任务执行速度，使得资源得到更快地释放，且普适性高。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种集群任务前置调度分配装置。

为达到上述目的，本发明第一方面实施例提出了一种集群任务前置调度分配方法，包括：建立集群队列数据库表，并配置动态参数任务，其中，动态参数任务包括队列；根据动态参数任务查询队列在集群队列数据库表中的资源使用情况，并根据队列在集群队列数据库表中的资源使用情况获取可使用资源表；对可使用资源表进行排序，并根据排序结果确定动态参数任务的任务参数；将携带任务参数的任务提交到集群调度系统，以便集群调度系统分配并执行携带任务参数的任务。

根据本发明实施例的集群任务前置调度分配方法，首先建立集群队列数据库表，并配置动态参数任务，其中，动态参数任务包括队列，而后根据动态参数任务查询队列在集群队列数据库表中的资源使用情况，并根据队列在集群队列数据库表中的资源使用情况获取可使用资源表，以及对可使用资源表进行排序，并根据排序结果确定动态参数任务的任务参数，以及将携带任务参数的任务提交到集群调度系统，以便集群调度系统分配并执行携带任务参数的任务。由此，能够有效降低对资源使用造成的浪费，提高资源利用率，同时能够有效加快任务执行速度，使得资源得到更快地释放，且普适性高。

根据本发明的一个实施例，集群队列数据库表包括节点名称、内存量、线程数和队列信息，其中，节点名称作为主键内容不可重复。

根据本发明的一个实施例，动态参数任务还包括设置线程区间的任务线程和设置内存区间的任务内存，其中，每个线程区间与一个内存区间对应。

根据本发明的一个实施例，根据动态参数任务查询队列在集群队列数据库表中的资源使用情况，包括：根据队列获取集群队列数据库表中该队列对应的各节点内存使用情况和线程数使用情况。