[发明专利]用于存储管理的方法、设备和计算机程序产品

说明书

根据本公开的示例实施例，提供了一种用于存储管理的方法、设备和计算机程序产品。该方法包括在第一节点部署的第一存储服务处，获取在第一节点部署的第一计算服务对第一目标数据的第一请求，第一存储服务具有对远程存储装置的访问并且向第一计算服务提供与远程存储装置相同的访问接口，远程存储装置存储在第一计算服务要至少部分执行的任务中可重用的数据集，并且数据集包括第一目标数据；基于第一请求，从远程存储装置或针对第一存储服务的本地存储空间获取第一目标数据；以及向第一计算服务提供第一目标数据。由此，本方案可以高效地获取数据，并且降低获取数据的成本。

技术领域

本公开的实施例总体涉及计算机技术，具体涉及用于存储管理的方法、设备和计算机程序产品。

背景技术

深度学习涉及处理大规模深度学习模型或将深度学习模型应用于大规模数据集。深度学习任务需要访问大量数据。通常，这些数据被存储在诸如云的远程存储装置中。因此，需要高效且可靠地获取这些数据，特别是当深度学习任务以分布式方式来实现时。

发明内容

本公开的实施例提供了用于存储管理的方法、设备和计算机程序产品。

在本公开的第一方面，提供了一种用于存储管理的方法。该方法包括：在第一节点部署的第一存储服务处，获取在第一节点部署的第一计算服务对第一目标数据的第一请求，第一存储服务具有对远程存储装置的访问并且向第一计算服务提供与远程存储装置相同的访问接口，远程存储装置存储在第一计算服务要至少部分执行的任务中可重用的数据集，并且数据集包括第一目标数据；基于第一请求，从远程存储装置或针对第一存储服务的本地存储空间获取第一目标数据；以及向第一计算服务提供第一目标数据。

在本公开的第二方面，提供了一种电子设备。该设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得设备执行动作，该动作包括：在第一节点部署的第一存储服务处，获取在第一节点部署的第一计算服务对第一目标数据的第一请求，第一存储服务具有对远程存储装置的访问并且向第一计算服务提供与远程存储装置相同的访问接口，远程存储装置存储在第一计算服务要至少部分执行的任务中可重用的数据集，并且数据集包括第一目标数据；基于第一请求，从远程存储装置或针对第一存储服务的本地存储空间获取第一目标数据；以及向第一计算服务提供第一目标数据。

在本公开的第三方面，提供了一种计算机程序产品。计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令在被执行时使机器执行动作，该动作包括：在第一节点部署的第一存储服务处，获取在第一节点部署的第一计算服务对第一目标数据的第一请求，第一存储服务具有对远程存储装置的访问并且向第一计算服务提供与远程存储装置相同的访问接口，远程存储装置存储在第一计算服务要至少部分执行的任务中可重用的数据集，并且数据集包括第一目标数据；基于第一请求，从远程存储装置或针对第一存储服务的本地存储空间获取第一目标数据；以及向第一计算服务提供第一目标数据。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了传统存储管理环境的示例的示意图；

图2示出了根据本公开的一些实施例的存储管理环境的方法的流程图；

图3示出了根据本公开的一些实施例的一个存储管理示例；

图4示出了根据本公开的一些实施例的目标数据被存储在本地存储装置中的一个存储管理示例；