[发明专利]资源处理方法、装置、电子设备及存储介质

说明书

本申请公开了一种资源处理方法、装置、电子设备及存储介质，该方法应用于资源平台的目标服务节点，包括：接收目标任务的资源获取请求，资源获取请求中携带目标任务需要的第一资源的信息；在本地存在与第一资源的名称相同的第二资源的情况下，确定第二资源的版本与资源平台中存储的第一资源的最新版本是否相同；如果第二资源的版本与第一资源的最新版本相同，则指示目标任务使用第二资源。应用本申请所提供的技术方案，不需要在资源平台重复下载本地已经存在的资源，可以减少I/O传输成本，降低本地磁盘存储开销。

技术领域

本申请涉及计算机应用技术领域，特别是涉及一种资源处理方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的快速发展，各种资源平台的使用越来越广泛，比如DS(DolphinScheduler)平台，其作为分布式易扩展的可视化工作流任务调度平台，得到了较为广泛且深入地使用。在资源平台中，允许用户上传资源，比如上传jar包等软件包资源，方便工作流定义中的任务引用。在有任务要运行时，需要从资源平台将所需资源下载到本地供任务使用。

目前，任务每次运行时，都要执行将资源下载到本地的操作，如果资源较大，或者任务运行频率较高，则将会增加输入/输出(Input/Output，I/O)传输成本及本地磁盘存储开销。

发明内容

本申请的目的是提供一种资源处理方法、装置、电子设备及存储介质，以减少I/O传输成本，降低本地磁盘存储开销。

为解决上述技术问题，本申请提供如下技术方案：

第一方面，本申请实施例提供一种资源处理方法，应用于资源平台的目标服务节点，所述方法包括：

接收目标任务的资源获取请求，所述资源获取请求中携带所述目标任务需要的第一资源的信息；

在本地存在与所述第一资源的名称相同的第二资源的情况下，确定所述第二资源的版本与所述资源平台中存储的所述第一资源的最新版本是否相同；

如果所述第二资源的版本与所述第一资源的最新版本相同，则指示所述目标任务使用所述第二资源。

在本申请的一种具体实施方式中，还包括：

如果所述第二资源的版本与所述第一资源的最新版本不相同，或者，在本地不存在与所述第一资源的名称相同的所述第二资源，则在所述资源平台的资源存储系统中下载最新版本的第一资源；

指示所述目标任务使用所述最新版本的第一资源。

在本申请的一种具体实施方式中，在所述第二资源的版本与所述第一资源的最新版本不相同的情况下，还包括：

在本地删除所述第二资源；

在下载所述最新版本的第一资源后，在本地保存所述最新版本的第一资源；

或者，在本地不存在与所述第一资源的名称相同的第二资源的情况下，还包括：

在下载所述最新版本的第一资源后，在本地保存所述最新版本的第一资源。

在本申请的一种具体实施方式中，所述资源平台中存储的所述第一资源的最新版本是根据所述资源平台的资源信息确定的，其中，所述资源信息是根据所述资源平台的资源操作事件进行更新的。

在本申请的一种具体实施方式中，所述资源信息是通过资源树存储的。

在本申请的一种具体实施方式中，在本地不存在与所述第一资源的名称相同的第二资源的情况下，在所述资源平台的资源存储系统中下载最新版本的第一资源之后，还包括：

根据所述第一资源的最新版本，更新所述资源信息。

在本申请的一种具体实施方式中，所述资源平台的资源信息存储在协调服务器中，所述方法还包括：