[发明专利]新增任务的处理方法、装置、电子设备及存储介质

说明书

本公开关于一种新增任务的处理方法、装置、电子设备及存储介质。所述方法包括：确定新增任务的任务类型；当根据任务类型确定新增任务为有效任务时，获取与新增任务对应的第一任务数组数据；将第一任务数组数据与数据库中已存在的第二任务数组数据进行比对，当确定第一任务数组数据与第二任务数组数据存在重复数据时，去除第一任务数组数据中的重复数据。通过上述方法可以对新增任务中的重复数据进行去重处理，释放被占用的系统资源，进而减轻系统的压力。

技术领域

本公开涉及计算机技术领域，尤其涉及一种新增任务的处理方法、装置、电子设备、计算机可读存储介质、计算机程序产品。

背景技术

随着计算机技术的不断发展，系统平台的功能越来越完善。为了支持的系统平台的正常运行，通常需要在后台服务器中增加新的任务。

针对系统平台的新增任务，发明人发现会存在一些新增任务和原数据库中存储的数据之间存在重复数据。但是，由于无法定位到与原数据库存在重复数据的新增任务，导致系统中重复数据较多，进而占据较多系统资源，导致资源浪费。

发明内容

本公开提供一种新增任务的处理方法、装置、电子设备、计算机可读存储介质、计算机程序产品，以至少解决相关技术中系统中重复数据较多，进而占据较多系统资源，导致资源浪费的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种新增任务的处理方法，包括：

确定新增任务的任务类型；

当根据所述任务类型确定所述新增任务为有效任务时，获取与所述新增任务对应的第一任务数组数据；

将所述第一任务数组数据与数据库中已存在的第二任务数组数据进行比对，当确定所述第一任务数组数据与所述第二任务数组数据存在重复数据时，去除所述第一任务数组数据中的所述重复数据。

在其中一个实施例中，在所述当根据所述任务类型确定所述新增任务为有效任务时，获取与所述新增任务对应的第一任务数组数据之前，还包括：

根据所述任务类型，查询有效任务类型表；

当确定所述有效任务类型表中存在与所述新增任务的任务类型匹配的任务类型时，确定所述新增任务为有效任务；其中，所述有效任务类型表中存储有待处理的有效任务类型。

在其中一个实施例中，在所述当根据所述任务类型确定所述新增任务为有效任务时，获取与所述新增任务对应的第一任务数组数据之前，还包括：

根据所述新增任务的任务类型，确定处理所述新增任务所需的主机数量条件以及主机内存使用率条件；

若当前空闲主机数量满足所述主机数量条件，且当前空闲主机的内存使用率满足所述主机内存使用率条件，则确定所述新增任务为有效任务。

在其中一个实施例中，所述第一任务数组数据中内置有数据去重函数；

所述将所述第一任务数组数据与数据库中已存在的第二任务数组数据进行比对，当确定所述第一任务数组数据与所述第二任务数组数据存在重复数据时，去除所述第一任务数组数据中的所述重复数据，包括：

通过所述数据去重函数，将所述第一任务数组数据中的数据逐个与所述第二任务数组数据中的数据进行比对，当确定所述第一任务数组数据与所述第二任务数组数据存在重复数据时，去除所述第一任务数组数据中的所述重复数据。

在其中一个实施例中，所述确定新增任务的任务类型，包括：

根据所述新增任务中包含的文件的类型，确定所述新增任务的任务类型；

或者，

根据所述新增任务的任务名称，确定所述新增任务的任务类型。