[发明专利]基于离线应用的资源控制方法、系统、设备及存储介质

说明书

本发明提供了基于离线应用的资源控制方法、系统、设备及存储介质，该方法：接收计算任务，将计算任务导入到计算集群的数据库，将数据库中的未完成任务队列中的计算任务分别分配到计算集群中的空闲的计算节点；当计算集群运行于高负荷状态时，根据第一预设轮询间隔，轮询计算集群中正在运行的计算任务，获得每个正在运行的计算任务对计算集群的资源使用率和运行该计算任务的计算节点的编号；将每个计算任务的资源使用率排序，并释放资源使用率最大的至少一个计算任务对应的计算节点；将计算节点被释放的计算任务加入到未完成任务队列，本发明能够保持长时间健康稳定运行脱离不了系统的强抗压性，低故障率，并且能快速完成迭代升级。

技术领域

本发明涉及汽车安全领域，具体地说，涉及基于离线应用的资源控制方法、系统、设备及存储介质。

背景技术

目前，跟踪系统主要目的是为“统一查询平台系统”赋能，查询平台中所展示的离线应用消耗系统资源信息来源于此技术的应用，比如：impala、spark、hive等任务执行中消耗的内存、CPU内核电压、磁盘容量、执行时长等信息。

在实际工作中，往往有不合理的任务占据集群主要资源，影响到队列中其它任务的执行，如何合理分配资源执行任务呢？众所周知，大数据领域实时/离线任务对机器的内存、CPU、硬盘容量等硬件设备有着严苛要求，机器成本也相对昂贵，若刨去升级硬件或扩增集群容量不谈，如何既能节约成本又能稳健运行任务呢？那么此技术诞生了，通过该技术能够实时了解集群中任务对机器设备的资源消耗情况，出现性能瓶颈随时释放大任务释放资源，根据性能数据指标提前规划/扩(缩)容集群，如此就能防范于未然了。

随着大数据开放平台等上游业务产品的用户和提交任务数日益增加，用户的技术层次不同影响到提交SQL(结构化查询语言，Structured Query Language，简称SQL)任务的质量也不尽相同，导致低效率SQL占据集群多数资源，如此一来，很容易造成数据任务瘫痪，影响面甚广；通过上游产品无法实时查看低质量SQL在执行过程中对集群资源的消耗情况，有时用户权限不足也无法执行释放任务此类操作。

现有技术存在以下缺点：

开源工具比较通用化，无法提供个性化需求；

没有权限管控对外接口，无法接入公司内部SSO和HR系统；

没有执行施放任务等操作；

资源消耗跟踪的时间粒度过于粗放。

因此，本发明提供了一种基于离线应用的资源控制方法、系统、设备及存储介质。

发明内容

针对现有技术中的问题，本发明的目的在于提供基于离线应用的资源控制方法、系统、设备及存储介质，能够保持长时间健康稳定运行脱离不了系统的强抗压性，低故障率；保证跟踪系统简单实用，低耦合，高内聚，并且能快速完成迭代升级。

本发明的实施例提供一种基于离线应用的资源控制方法，包括以下步骤：

S101、接收计算任务；

S102、将所述计算任务导入到计算集群的数据库；

S103、将所述数据库中的未完成任务队列中的所述计算任务分别分配到所述计算集群中的空闲的计算节点；

S104、判断计算集群是否运行于高负荷状态，所述计算集群运行于高负荷状态的条件为计算资源的使用率超过预设阈值，若是，则执行步骤S105，若否，则执行步骤S108；

S105、根据第一预设轮询间隔，轮询所述计算集群中正在运行的所述计算任务，获得每个正在运行的所述计算任务对所述计算集群的资源使用率和运行该计算任务的计算节点的编号；

S106、将每个所述计算任务的资源使用率排序，并释放资源使用率最大的至少一个所述计算任务对应的计算节点；