[发明专利]资源的管理方法、系统、装置、处理器以及电子设备

说明书

本申请公开了一种资源的管理方法、系统、装置、处理器以及电子设备。涉及人工智能领域，该方法包括：接收租户提交的作业，并判断作业类型和租户类型，其中，作业类型包括模型训练作业和模型推理作业；从资源存储系统中确定作业类型匹配的目标资源池，并将作业缓存至目标资源池对接的作业缓存队列，其中，目标资源池包含多个子资源池；从目标资源池中确定租户类型匹配的目标子资源池，并通过资源调用服务为租户提供目标子资源池中的空闲资源，其中，租户通过调用的资源执行作业。通过本申请，解决了相关技术中难以对模型训练以及模型推理的资源进行有效管理和分配的问题。

技术领域

本申请涉及人工智能领域，具体而言，涉及一种资源的管理方法、系统、装置、处理器以及电子设备。

背景技术

随着联邦学习技术的不断发展，越来越多的厂商推出了联邦学习平台，以处理不同架构、不同技术的产品。由于涉及的场景较为广泛，因此会通过多个联邦学习平台来处理不同场景的需求，每个场景都需要进行模型训练，而且处理的数据量也非常大。对于资源有限的情况下，需要进行合理的分配和管控。

在相关技术中，由于不同的平台的管理方式不同，无法满足有限资源的统一管理和分配，并且由于联邦品平台都各自做资源管控，这不仅造成重复开发，而且资源的管控方面也比较困难。

针对相关技术中难以对模型训练以及模型推理的资源进行有效管理和分配的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种资源的管理方法、系统、装置、处理器以及电子设备，以解决相关技术中难以对模型训练以及模型推理的资源进行有效管理和分配的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种资源的管理方法。该方法包括：接收租户提交的作业，并判断作业类型和租户类型，其中，作业类型包括模型训练作业和模型推理作业；从资源存储系统中确定作业类型匹配的目标资源池，并将作业缓存至目标资源池对接的作业缓存队列，其中，目标资源池包含多个子资源池；从目标资源池中确定租户类型匹配的目标子资源池，并通过资源调用服务为租户提供目标子资源池中的空闲资源，其中，租户通过调用的资源执行作业。

可选地，资源存储系统中包含模型训练数据资源池，模型训练数据资源池为模型训练作业提供资源调用服务，从资源存储系统中确定作业类型匹配的目标资源池，并将作业缓存至目标资源池对接的作业缓存队列包括：在作业类型为模型训练作业的情况下，将模型训练数据资源池确定为目标资源池，并将作业缓存至模型训练数据资源池对接的作业缓存队列。

可选地，资源存储系统中包含模型推理数据资源池，模型推理数据资源池为模型推理作业提供资源调用服务，从资源存储系统中确定作业类型匹配的目标资源池，并将作业缓存至目标资源池对接的作业缓存队列包括：在作业类型为模型推理作业的情况下，将模型推理数据资源池确定为目标资源池，并将作业缓存至模型推理数据资源池对接的作业缓存队列。

可选地，在作业为定时作业的情况下从目标资源池中确定租户类型匹配的目标子资源池，并通过资源调用服务为租户提供目标子资源池中的空闲资源包括：在租户为第一类租户的情况下，将目标资源池中的专用资源池确定为目标子资源池，并判断专用资源池的空闲资源是否满足作业的资源需求；在专用资源池的空闲资源不满足作业的资源需求，控制作业在作业缓存队列中等待，直至专用资源池的空闲资源满足作业的资源需求，或者直至等待时长达到预设时长；在专用资源池的空闲资源满足作业的资源需求，通过资源调用服务为租户分配专用资源池中的资源。

可选地，从目标资源池中确定租户类型匹配的目标子资源池，并通过资源调用服务为租户提供目标子资源池中的空闲资源包括：在租户为第二类租户的情况下，将目标资源池中的公共资源池确定为目标子资源池，并判断公共资源池的空闲资源是否满足作业的资源需求；在公共资源池的空闲资源不满足作业的资源需求，控制作业在作业缓存队列中等待，直至公共资源池的空闲资源满足作业的资源需求，或者直至等待时长达到预设时长；在公共资源池的空闲资源满足作业的资源需求，通过资源调用服务为租户分配公共资源池中的资源。