[发明专利]基于大数据的任务优化方法、及相关设备

说明书

本申请实施例属于人工智能和大数据领域，涉及一种基于大数据的任务优化方法，包括获取各个目标任务的任务依赖集合；对各个所述目标任务进行分类，获取由所述目标任务构成的任务重合度集合；计算所述任务重合度集合中任意两个目标任务的重合度；获取复用度；在所述目标任务的复用度低且两个目标任务的重合度高时，将两个目标任务合并于同一个。本申请还提供一种装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，任务依赖集合、依赖重复度集合、重合度、复用度均可存储于区块链中。本申请通过筛选出复用度低且重合度过高的目标任务对，对目标任务进行合并或替代，减少烟囱开发，达到优化任务开发的有益效果。

技术领域

本申请涉及人工智能与大数据技术领域，尤其涉及一种基于大数据的任务优化方法、装置、计算机设备及存储介质。

背景技术

数据资产是企业数字化转型最重要的基础，随着企业的快速发展，数据规模前所未有，为了快速实现业务的需求，开发的过程中往往伴随着大量烟囱的产生，不同业务线之间的应用数据是割裂的，进一步增大烟囱式开发的数量。

现有技术中，会不定期对冗余任务进行人工梳理，而下线任务过程中又疲于对同链路相关任务进行分析，存在漏下的风险；而数据链路的整合，由于历史开发动辄几十层的链路往往难以分析，整合难度大；此外，减少烟囱开发和提高任务复用，要求需求设计阶段必须严格把控现有的数据体系，选择最优的设计方案，对需求设计人员的要求较高。

因此，烟囱式开发造成系统内存在大量重复计算与开发，降低研发效率，导致计算与存储资源的浪费，增大人力、计算成本。

发明内容

本申请实施例的目的在于提出一种基于大数据的任务优化方法，以解决烟囱式开发造成系统内存在大量重复计算与开发，导致计算与存储资源的浪费，增大人力的技术问题。

为了解决上述技术问题，本申请实施例提供一种基于大数据的任务优化方法，采用了如下所述的技术方案：

接收到优化任务指令时，获取各个目标任务的任务依赖集合；

根据所述优化任务指令对各个所述目标任务进行分类，获取由所述目标任务构成的任务重合度集合；

计算所述任务重合度集合中任意两个目标任务的重合度；

获取所述任务重合度集合中各个目标任务的复用度；

若所述任务重合度集合中的目标任务的复用度低于预设复用度且该目标任务与另一目标任务的重合度高于预设重合度时，将所述目标任务合并于所述另一目标任务。

为了解决上述技术问题，本申请实施例还提供一种基于大数据的任务优化装置，包括：

接收模块，用于接收到优化任务指令时，获取各个目标任务的任务依赖集合；

分类模块，用于根据所述优化任务指令对各个所述目标任务进行分类，获取由所述目标任务构成的任务重合度集合；

重合度计算模块，用于计算所述任务重合度集合中任意两个目标任务的重合度；

复用度计算模块，用于获取所述任务重合度集合中各个目标任务的复用度；

合并模块，用于若所述任务重合度集合中的目标任务的复用度低于预设复用度且该目标任务与另一目标任务的重合度高于预设重合度时，将所述目标任务合并于所述另一目标任务。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括：

存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述的基于大数据的任务优化方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，包括：