[发明专利]一种算力资源分配方法及装置

说明书

本发明公开了一种算力资源分配方法，包括：接收带有用户类型标记的任务请求；根据用户类型对任务请求进行初分配；根据用户类型以及其已用算力资源量计算其算力资源余量，若用户的算力资源余量满足该任务请求的算力资源需求量，则控制该任务请求进入所选资源池内的所选队列，否则，控制该任务请求进入用户的任务请求队列；当监测到用户的算力资源余量满足该任务请求的算力资源需求量，从用户的任务请求队列调度任务请求进入所选资源池内的所选队列。本发明通过设置多种资源池以及队列，既可以对用户提供多种选择，又可以对用户的多种算力资源需求进行自动调度管理，进一步通过阈值设定实现多次调度，提高算力资源利用率，避免资源浪费。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种算力资源分配方法 及装置。

背景技术

常用的公有云环境，以GPU裸算力出租，或者算法层SaaS服务 为主要形式输出。以云服务商的异构算力服务为例，通常分为以下几 种：

1.GPU裸算力服务，以裸服务器的方式，提供搭载CPU+GPU的 云服务器；

2.AI标注服务；结合商品标签、车牌识别等应用场景，为用户 提供在线标注服务；

3.AI模型开发：在模型标注的基础上，利用小量数据在线对模 型进行调整，对GPU等异构算力有一定的需求，但是需求量碎片化；

4.AI模型训练：在标注、模型开发的基础上，用大量数据进行 训练。这一阶段需要大量的计算资源。

5.AI推衍服务：在公有云海量计算节点的基础上，提供自动负 载均衡，动态扩容，并提供面向图像识别、自然语言处理等多个行业 领域的服务。

公有云上以上服务流程由于所需算力资源量相差大，目前算力资 源动态调度困难，采用切割成若干产品，以算力加服务的形式提供给 用户，导致用户数据管理复杂，资源调度慢，资源利用率低等问题。 因此，针对上述问题，有必要提出进一步地解决方案。

发明内容

本发明旨在提供一种算力资源分配方法及装置，以克服现有技术 中存在的不足。

为解决上述技术问题，本发明的一个技术方案是：

一种算力资源分配方法，包括：

接收带有用户类型标记的任务请求，所述任务请求包括任务类型、 任务时长、算力资源需求量、任务优先级以及资源池选择、队列选择；

根据所述用户类型对任务请求进行初分配，满足第一条件则控制 该任务请求进入下一步骤，否则控制该任务请求进入所选资源池内的 所选队列；

根据所述用户类型以及其已用算力资源量计算其算力资源余量， 若所述用户的算力资源余量满足该任务请求的所述算力资源需求量， 则控制该任务请求进入所选资源池内的所选队列，否则，控制该任务 请求进入所述用户的任务请求队列；

当监测到所述用户的算力资源余量满足该任务请求的所述算力 资源需求量，从所述用户的任务请求队列调度所述任务请求进入所选 资源池内的所选队列。

本发明的一个较佳实施例中，当该任务请求位于所选资源池内的 所选队列时，

按照该任务请求的所述算力资源需求量与所选资源池内空闲资 源的匹配度确定算力资源，并调度给所述任务；或，

按照队列排序，根据用户分值以及该任务请求的所述算力资源需 求量确定算力资源，并调度给所述任务。

本发明的一个较佳实施例中，当调度给该任务的算力资源量小于 其算力资源需求量时，按照预设时段，检测该任务的算力资源占用率， 若所述算力资源占用率达到调度阈值，则再次根据用户分值以及该任 务请求的所述算力资源需求量确定算力资源直至该任务累计调度的 算力资源量等于算力资源需求量。