[发明专利]算法调度方法以及系统

说明书

本发明涉及人工智能领域，提供一种算法调度方法，包括接收算法任务请求指令，所述算法任务请求指令用于请求获取目标算法；基于所述算法任务请求指令获取多个服务器的负载数据；根据所述多个服务器的负载数据对所述多个服务器进行排序，以将排序靠前的前N个服务器确定为多个候选服务器；基于预设的调度规则和多个候选服务器的负载数据，从所述多个候选服务器中确定目标服务器；将所述算法任务请求指令下发至所述目标服务器，使所述目标服务器执行所述目标算法以实现目标算法的调度。本发明根据各个服务器的负载数据调度服务器，实现动态扩容，更加合理地利用资源，减少资源浪费，算法被执行的效率更高。

技术领域

本发明实施例涉及人工智能领域，尤其涉及一种算法调度方法以及系统。

背景技术

目前科学发展与信息技术成熟加速了许多领域对于大量机器学习算法的应用。例如智能语音项目用到了大量的机器学习算法，如文本相似度算法，分类算法等多类算法。每类算法本身又可以分为模型训练算法和模型应用算法，这些算法会存在不同的版本。算法本身会依赖大量的库，而这些库文件在运行时也非常占用系统资源，目前算法组件由于模型应用较多，经常会内存泄露。

并且由于单台服务器受本身容量的限制不能运行过多算法。如果对每一台服务器进行算法的差异化部署，当要横向扩容这些算法服务时，非常耗时耗力的。因此，通常通过多台服务器的调度以实现算法的调用部署。通常多台服务器的调度会对任务请求进行平均分配，以调用服务器执行算法。

然而，采取平均分配任务请求进行多台服务器调度算法的方法无法满足多个服务器负载动态变化的情况，会导致资源使用不合理的情况发生，进而导致算法被执行的效率低。

发明内容

有鉴于此，本发明实施例提供了一种算法调度方法、系统、计算机设备及计算机可读存储介质，用于解决平均分配任务请求来进行服务器调度算法的方法导致的资源使用不合理、算法被执行的效率低的问题。

本发明实施例是通过下述技术方案来解决上述技术问题：

一种算法调度方法，包括：

接收算法任务请求指令，所述算法任务请求指令用于请求获取目标算法；

基于所述算法任务请求指令获取多个服务器的负载数据；

根据所述多个服务器的负载数据对所述多个服务器进行排序，以将排序靠前的前N个服务器确定为多个候选服务器；

基于预设的调度规则和多个候选服务器的负载数据，从所述多个候选服务器中确定目标服务器；

将所述算法任务请求指令下发至所述目标服务器，使所述目标服务器执行所述目标算法以实现目标算法的调度。

进一步地，所述基于所述算法任务请求指令获取多个服务器的负载数据包括：

当所述任务调度组件接收到所述算法任务请求指令时，通过所述任务调度组件生成服务器启动指令，并将所述服务器启动指令发送至执行器组件；

接收所述执行器组件基于所述服务器启动指令返回的各个服务器的注册信息以及对应的负载数据。

进一步地，所述根据所述多个服务器的负载数据对所述多个服务器进行排序，以将排序靠前的前N个服务器确定为多个候选服务器包括：

从所述多个服务器的所述负载数据中获取中央处理器占用数据；

根据所述中央处理器占用数据对多个服务器进行排序，并将排序靠前的前N个服务器确定为多个候选服务器。

进一步地，所述基于预设的调度规则和多个候选服务器的负载数据，从所述多个候选服务器中确定目标服务器包括：

基于所述多个候选服务器的负载数据以及所述调度规则，生成每个候选服务器对应的调度分值；