[发明专利]应用于云联邦的人工智能池化算法调度与管理方法及装置

说明书

本发明涉及人工智能服务应用领域，提出一种应用于云联邦的人工智能池化算法调度与管理方法，其特征在于，包括步骤：获取算法池，向所述算法池中调入算法实例；根据算法调度请求，在所述算法池的算法实例中，调出与所述算法调度请求对应的目标算法实例。本发明解决静态资源分配导致的部署灵活性差、资源利用率低的问题；解决了传统GPU虚拟化技术的复杂性和规模问题；在满足同等资源条件以及保证服务可用的前提下，尽可能发挥资源的最大能效。

技术领域

本发明涉及人工智能服务应用领域，尤其涉及一种应用于云联邦的人工智能池化算法调度与管理方法及装置。

背景技术

现有技术中，90％以上的人工智能应用都运行在GPU上，而且GPU价格昂贵。当模型训练完成，在实际场景进行部署的时候，GPU通常采用静态分配。每个算法都需要固定大小的显存，一个业务场景需要多个算法和检测规则，算法模型在启动实例化的时候也比较的耗时，所以，一般在算法部署的时候，就根据GPU显存大小、算法类型和算法个数提前分配好GPU资源。实际应用场景中，由于每个算法工作的时长，以及每个算法的检测速度都不一样，现有技术的资源预分配，存在算法模型部署灵活性差，资源利用率低，极大的造成了资源浪费的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于，解决现有技术的资源预分配，存在算法模型部署灵活性差，资源利用率低，极大的造成了资源浪费的技术问题。

为实现上述目的，本发明提供应用于云联邦的人工智能池化算法调度与管理方法，包括以下步骤：

S1：获取算法池，向所述算法池中调入算法实例；

S2：根据算法调度请求，在所述算法池的算法实例中，调出与所述算法调度请求对应的目标算法实例。

优选地，步骤S1具体为：

S11：获取算法池，配置所述算法池的算法实例最小数量；

S12：检测所述算法池是否为空，若是，则根据所述算法实例最小数量，向所述算法池中调入对应数量的算法对象，进入步骤S13；否则进入步骤S2；

S13：将各所述算法对象进行实例化处理，获得对应的算法实例。

优选地，步骤S2具体为：

S21：接收到算法调度请求后，检测所述算法池中是否存在与所述算法调度请求对应的目标算法实例；

S22：若存在，则将所述目标算法实例调出所述算法池，进入步骤S23；否则进入步骤S24；

S23：检测所述算法调度请求的每秒请求数；若所述每秒请求数大于或等于阈值，且所述算法池中算法实例的当前数量没有达到最大值，则向所述算法池中添加新的算法实例，返回步骤S21；否则不进行任何操作，返回步骤S21；

S24：进入等待队列，等待时间t开始计时；若所述等待时间t小于或等于预设值，且收到算法实例释放信号，则返回步骤S21；若所述等待时间t大于预设值，或收到结束命令，则请求进行超时处理，并返回步骤S21。

优选地，每隔预设时间T进行一次步骤S3；

S3：检测所述算法池中各所述算法实例的存活时间，根据所述存活时间释放空闲的算法实例。

优选地，步骤S3具体为：

S31：检测各所述算法实例的存活时间；若存在所述存活时间大于或等于空闲时间的算法实例，则将所述存活时间大于或等于空闲时间的算法实例标记为空闲的算法实例，进入步骤S32；否则结束步骤S3；