[发明专利]基于hadoop的任务数据管控方法、装置以及计算机设备

说明书

本发明公开了一种基于hadoop的任务数据管控方法，该方法包括：获取第一任务管理平台的任务进程日志的源信息，识别其中的目标任务名称和目标任务必要参数；将所述目标任务名称以及目标任务必要参数与预设的前后序任务执行清单中的每一条任务记录中的前序任务名称和前序任务必要参数进行一致性比对；当所述前后序任务执行清单中存在的第一任务记录与所述目标任务的任务名称以及目标任务必要参数一致时，将所述第一任务记录中的后序任务对应的执行指令发送到第二任务管理平台。本发明还提供一种基于hadoop的任务数据管控装置、计算机设备以及计算机可读存储介质。本发明能够跨任务管理平台实现任务数据的实时、高效、准确的管控。

技术领域

本发明涉及流程监控技术领域，尤其涉及一种基于hadoop的任务数据管控方法、装置、计算机设备及计算机可读存储介质。

背景技术

目前，很多可用于对生产任务进行控制管理的任务管理平台被应用到企业的日常生产中。当然，对于生产任务很多，且不同的生产任务可能在不同的任务管理平台上执行，因此，可能需要多个任务管理平台分别管理和控制不同的生产任务数据以共同完成预设的生产任务。比如，现有的OOZIE任务管理平台和LINKDO任务管理平台都比较常用于生产任务数据的管理，但是这两个任务管理平台之间并没有提供使两个平台的任务数据进行交互的接口，所以，当生产任务分解出来的前序任务和后续任务分别分配到OOZIE任务管理平台和LINKDO任务管理平台之后，对这两个任务管理平台之间进行任务数据管理会很麻烦。例如，经常会出现其中一个任务管理平台执行的前序任务因为出现异常，而依赖该前序任务的后序任务在却不能获知到前序任务执行异常，那么后续任务就会按照正常时间运行起来，这样就会产生任务数据无法真正同步，任务执行结果容易偏差等问题。因此，现有技术中，对于跨任务管理平台进行任务数据的管控并不能达到准确、同步的效果。

发明内容

有鉴于此，本发明提出一种用户基于hadoop的任务数据管控方法、装置、计算机设备及计算机可读存储介质，能够获取第一任务管理平台的任务进程日志的源信息，然后进行识别，以识别出目标任务名称和目标任务必要参数；接着将所述目标任务名称以及目标任务必要参数与预设的前后序任务执行清单中的每一条任务记录中的前序任务名称和前序任务必要参数进行一致性比对；当所述前后序任务执行清单中存在的第一任务记录中的前序任务名称和前序任务必要参数与所述目标任务名称以及目标任务必要参数一致时，将所述第一任务记录中的后序任务对应的执行指令发送到第二任务管理平台。通过这种方式，可以跨任务管理平台实现任务数据的实时、高效、准确的管控。

首先，为实现上述目的，本发明提供一种基于hadoop的任务数据管控方法，所述方法包括：

获取第一任务管理平台的任务进程日志的源信息；对所述任务进程日志的源信息进行识别，识别出目标任务名称和目标任务必要参数；将所述目标任务名称以及目标任务必要参数与预设的前后序任务执行清单中的每一条任务记录中的前序任务名称和前序任务必要参数进行一致性比对；当所述前后序任务执行清单中存在的第一任务记录中的前序任务名称和前序任务必要参数与所述目标任务名称以及目标任务必要参数一致时，将所述第一任务记录中的后序任务对应的执行指令发送到第二任务管理平台。

可选地，所述对所述任务进程日志的源信息进行识别，识别出目标任务名称和目标任务必要参数的步骤包括：将所述任务进程日志的源信息转换成日志文本信息；对所述日志文本信息进行语句切分，得到至少一条任务执行记录语句；对每一条任务执行记录语句进行文本识别，识别出所述目标任务名称和目标任务必要参数。

可选地，所述对每一条任务执行记录语句进行文本识别的步骤包括：根据预设的目标任务名称关键字对每一条任务执行记录语句进行识别，从而找出包括所述目标任务名称的第一任务执行记录语句；根据预设的必要参数格式对所述第一任务执行记录语句进行识别，从而识别出所述目标任务名称对应的目标任务必要参数。

可选地，所述必要参数包括时间和运行状态，所述必要参数格式包括时间格式和运行状态格式。