[发明专利]任务处理方法、装置、计算机设备和存储介质

说明书

本申请涉及分布式部署领域，提供任务处理方法、装置、计算机设备和存储介质，包括：获取新增任务的目标任务类型；获取当前处理目标任务类型的任务的主机数量，并判断是否达到预设的第一阈值；若达到，则获取当前每台主机的第一CPU使用率和第一内存使用率，以及获取当前处理其他每一种任务类型的任务的第一平均处理时长，并判断每台主机的第一CPU使用率以及第一内存使用率是否均小于对应的阈值；若均小于，则依次调大所述第一阈值，以使得当前处理所述目标任务类型的任务的主机数量小于调大后的所述第一阈值，并将所述新增任务分配至一台所述主机进行处理。本申请在对新增任务进行处理时，无需手动去配置也可以让服务器主动调整任务处理能力。

技术领域

本申请涉及分布式部署的技术领域，特别涉及一种任务处理方法、装置、计算机设备和存储介质。

背景技术

目前，在任务平台中，为了保障对任务的处理能力不受影响，通常需要在任务处理时进行限流，即限制同时处理任务的数量。现行的限流方案通常是通过信号量和线程池的方式对提供的服务和对外调用进行限流操作，而这些方案中通常是对单台主机进行配置和限流，缺少一个动态的分布式的动态限流方案。同时，在新增任务时，无法在保障其他任务的正常处理前提下，及时将新增任务分配处理。

发明内容

本申请的主要目的为提供一种任务处理方法、装置、计算机设备和存储介质，旨在克服目前任务处理时无法动态限流的缺陷。

为实现上述目的，本申请提供了一种任务处理方法，包括以下步骤：

获取新增任务的目标任务类型；

获取当前处理所述目标任务类型的任务的主机数量，并判断所述主机数量是否达到预设的第一阈值；

若达到，则获取当前每台主机的第一CPU使用率和第一内存使用率，以及获取当前处理其他每一种任务类型的任务的第一平均处理时长，并判断每台所述主机的第一CPU使用率以及第一内存使用率是否均小于对应的阈值；

若均小于对应的阈值，则依次调大所述第一阈值，以使得当前处理所述目标任务类型的任务的主机数量小于调大后的所述第一阈值，并将所述新增任务分配至一台所述主机进行处理；

再次获取每台所述主机的第二CPU使用率和第二内存使用率，以及再次获取处理其他每一种任务类型的任务的第二平均处理时长；

若任一台所述主机的第二CPU使用率或者第二内存使用率达到对应的阈值，或者其他任一种任务类型的任务的第二平均处理时长大于第一平均处理时长时，停止调大所述第一阈值。

进一步地，所述获取新增任务的目标任务类型的步骤，包括：

获取所述新增任务的属性表达式，根据所述属性表达式获取所述新增任务的的属性编码，所述属性编码包括任务部门编码、任务处理事项编码、任务重要度编码以及任务处理时间编码；

将所述任务部门编码、任务处理事项编码、任务重要度编码以及任务处理时间编码分别输入至映射脚本中，输出所述任务部门编码、任务处理事项编码、任务重要度编码、任务处理时间编码分别对应的第一打分、第二打分、第三打分以及第四打分；其中，所述映射脚本中存储有属性编码-打分的对应关系；

对所述第一打分、第二打分、第三打分以及第四打分进行加权求和计算，得到所述新增任务的总分值；

根据总分值与目标任务类型的映射关系，得到所述新增任务的目标任务类型。

进一步地，所述获取新增任务的目标任务类型的步骤之后，包括：

获取所述新增任务的数据量，并将所述数据量与预设数据量进行对比；

若所述新增任务的数据量小于预设数据量，则将所述新增任务存储至第一文件夹中；若所述新增任务的数据量不小于预设数据量，则将所述新增任务存储至第二文件夹中；