[发明专利]任务调度方法、装置、电子设备及存储介质

说明书

本发明涉及数据处理领域，揭露一种任务调度方法、装置、电子设备以及存储介质，所述方法包括：获取待执行的工作任务，识别所述工作任务中的任务依赖关系，根据所述任务依赖关系，配置所述工作任务的工作流文件；采用远程连接的方式将所述工作流文件传输至任务调度器页面中，以通过所述任务调度器页面运行所述工作流文件，得到所述工作流文件的运行结果；将所述运行结果返回至预设的可视化平台中，以通过所述可视化平台对所述运行结果进行展示，得到所述工作任务的调度结果。此外，本发明还涉及区块链技术，所述运行结果可存储区块链中。本发明可以提高任务调度的处理效率。

技术领域

本发明涉及数据处理领域，尤其涉及一种任务调度方法、装置、电子设备及计算机可读存储介质。

背景技术

任务调度器是指用于在一个工作流内以一个特定的顺序运行一组工作和流程的工具，如Azkaban。但是任务调度器的官方页面上，由于其开放的功能并不全面，导致在通过任务调度器页面进行任务调度时需要耗费较多的配置时间，从而影响会影响任务处理的效率，例如在面对任务配置时，需要依次对待执行的任务，页面官方页面仅支持单个任务的配置，无法支持批量任务的生成，从而造成重复机械的操作现象，在面对任务执行状态查看时，任务调度器官方页面只支持一个个的点开任务日志进行查看。

因此，亟待一种方案以减少通过任务调度器页面进行任务调度时的配置和查看时间，提高任务调度的处理效率。

发明内容

本发明提供一种任务调度方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高任务调度的处理效率。

为实现上述目的，本发明提供的一种任务调度方法，包括：

获取待执行的工作任务，识别所述工作任务中的任务依赖关系，根据所述任务依赖关系，配置所述工作任务的工作流文件；

采用远程连接的方式将所述工作流文件传输至任务调度器页面中，以通过所述任务调度器页面运行所述工作流文件，得到所述工作流文件的运行结果；

将所述运行结果返回至预设的可视化平台中，以通过所述可视化平台对所述运行结果进行展示，得到所述工作任务的调度结果。

可选地，所述识别所述工作任务中的任务依赖关系，包括：

识别所述工作任务中每个任务的数据依赖关系，根据所述数据依赖关系，标记所述工作任务中每个任务的调度关系；

根据所述调度关系，确定所述工作任务的任务依赖关系。

可选地，所述根据所述任务依赖关系，配置所述工作任务的工作流文件，包括：

根据所述任务依赖关系，确定所述工作任务中每个任务的工作节点，并构造所述工作任务中每个任务的配置文件；

根据所述工作节点和所述配置文件，生成所述工作任务的工作流文件。

可选地，所述采用远程连接的方式将所述工作流文件传输至任务调度器页面中，包括：

获取所述任务调度器页面的远程登录信息，对所述远程登录信息进行身份验证；

在所述身份验证成功时，获取所述任务调度器页面的页面标识和页面地址，并识别所述工作流文件的文件信息；

将所述页面标识、页面地址以及所述文件信息进行拼接，得到所述工作流文件在所述任务调度器页面的请求地址，根据所述请求地址，执行所述工作流文件的传输。

可选地，所述通过所述任务调度器页面运行所述工作流文件，得到所述工作流文件的运行结果，包括：

在所述任务调度器页面中配置所述工作流文件的运行线程和运行规则；