[发明专利]数据调度处理方法、装置、设备及存储介质

说明书

本发明涉及数据处理领域，公开了一种数据调度处理方法、装置、设备及存储介质。该方法包括：获取目标处理数据；判断所述目标处理数据是否需要拆分处理；若需要拆分处理，则根据预置拆分算法，对所述目标处理数据进行拆分处理，得到N个队列执行数据，其中，N为正整数；将所述N个队列执行数据转换为N个JSON文件数据；根据预置分配执行算法，对所述N个JSON文件数据进行分配执行处理，生成N个队列消息处理数据；监听所述N个队列消息处理数据，生成数据处理结果，其中，所述数据处理结果包括：处理持续结果和处理完成结果。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据调度处理方法、装置、设备及存储介质。

背景技术

任务调度作为软件系统或平台的一部分，常用于执行软件中定时或临时需要执行的程序，而程序执行的结果，通常是不需要立刻反馈给用户的，可以简单点理解为“在后台运行的程序”。

现有任务调度器存在以下几个问题：

A) 单机执行。很多软件或平台，只支持单机或单节点执行；而大型系统，为支持更高的并发量，通常为分布式架构，此时，对于只支持单机执行的任务调度器，会出现重复执行等致命问题。

B) 仅支持定时任务。quartz等常见任务调度器，有的仅支持定时执行；对于用户临时的操作，往往需要重新开发执行程序。

C) 不支持异构系统。大部分任务调度器，通常不支持不同开发语言的任务，如java开发的调度器仅仅能执行java开发的任务程序；部分支持执行不同语言开发的任务的调度器，又仅支持本地执行，无法在不同服务器或者不同操作系统上执行任务。

因此，面对多语言的系统数据处理调度问题，需要一种能解决当前数据处理调度系统缺乏通用性和复用性的技术问题。

发明内容

本发明的主要目的在于解决数据处理调度系统缺乏通用性和复用性的技术问题。

本发明第一方面提供了一种数据调度处理方法，所述数据调度处理方法包括：

获取目标处理数据；

判断所述目标处理数据是否需要拆分处理；

若需要拆分处理，则根据预置拆分算法，对所述目标处理数据进行拆分处理，得到N个队列执行数据，其中，N为正整数；

将所述N个队列执行数据转换为N个JSON文件数据；

根据预置分配执行算法，对所述N个JSON文件数据进行分配执行处理，生成N个队列消息处理数据；

监听所述N个队列消息处理数据，生成数据处理结果，其中，所述数据处理结果包括：处理持续结果和处理完成结果。

可选的，在本发明第一方面的第一种实现方式中，所述获取目标处理数据包括：

基于定时获取方式，从预置任务表中抓取任务数据；

接收参数设置指令，读取所述参数设置指令中的参数数据；

将所述任务数据与所述参数数据进行匹配组合处理，得到目标处理数据。

可选的，在本发明第一方面的第二种实现方式中，所述判断所述目标处理数据是否需要拆分处理包括：

判断所述目标处理数据中的参数数据是否属于预置拆分设置数据；

若属于拆分设置数据，则确定所述目标处理数据需要进行拆分处理；

若不属于拆分设置数据，则确定所述目标处理数据不需要进行拆分处理。

可选的，在本发明第一方面的第三种实现方式中，所述根据预置拆分算法，对所述目标处理数据进行拆分处理，得到N个队列执行数据包括：