[发明专利]模型部署方法、装置、设备和计算机存储介质

说明书

本发明提供一种模型部署方法、装置、设备和计算机存储介质，通过获取当前模型的模型部署请求确定当前模型部署所需的资源信息；并基于资源信息和服务器监控信息，在模型服务集群中选取满足资源信息的第一服务器列表，向第一服务器列表中的目标服务器发送模型部署请求，并以轮询方式向目标服务器发送第一模型预测请求；在指定时间窗口内接收到目标服务器反馈的信息后，确认模型部署成功。在本方案中，根据部署当前模型所需的资源信息在模型服务集群中选取满足条件的服务器列表，利用模型服务集群中服务器列表进行负载均衡，且模型服务集群中服务器不要求具有相同规格，大大增强了容器的扩展性，同时还可以针对模型的特点进行个性化的部署。

技术领域

本发明涉及分布式集群技术领域，尤其涉及一种模型部署方法、装置、设备和计算机存储介质。

背景技术

目前，在一些提供服务的平台中会根据不同业务部署大量不同类型的模型以支持相应的服务。现有最常见的模型部署方式为将模型加载到特定容器中，然后以集群方式部署多个实例，并以负载均衡的方式对外提供服务。

随着模型需求的增多，在进行模型部署时，单个容器的资源无法承载过多的模型，在这种情况下，当前多采用升级容器规格的方式提升单个容器承载模型的数量，但是该种方式不仅对服务器规格的要求高，也影响模型数量的扩展。

发明内容

有鉴于此，本发明实施例提供一种模型部署方法、装置、设备和计算机存储介质，以解决现有技术在进行模型部署时受服务器规格和模型数量影响的问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明第一方面公开了一种模型部署方法，所述方法包括：

获取当前模型的模型部署请求，所述模型部署请求中携带有模型信息；

根据所述模型部署请求确定当前模型部署所需的资源信息；

基于所述资源信息和服务器监控信息，在所述模型服务集群中选取满足所述资源信息的第一服务器列表，所述第一服务器列表中至少包含两个目标服务器，所述目标服务器为已进行服务注册的服务器；

向所述目标服务器发送模型部署请求，并以轮询方式向所述目标服务器发送第一模型预测请求；

若在指定时间窗口内接收到所述目标服务器基于所述第一模型预测请求反馈的信息，记录成功部署的所述第一服务器列表和所述当前模型的模型标识。

可选的，还包括：

若所述模型服务集群中不存在满足所述资源信息的服务器列表，生成部署失败信息。

可选的，所述向所述目标服务器发送模型部署请求，包括：

基于MQ广播向所述目标服务器发送模型部署请求。

可选的，还包括：

若在指定时间窗口内未接收到所述目标服务器基于所述第一预测请求反馈的信息，记录部署失败的所述第一服务器列表，并生成部署失败信息。

可选的，还包括：

接收业务方发送的第二模型预测请求，所述第二模型预测请求中携带有所述当前模型的模型标识；

基于所述第二模型预测请求获取包含当前提供服务的所有服务器的第二服务器列表，以及所述当前模型成功部署的所述第一服务器列表；

获取所述第一服务器列表和第二服务器列表的交集列表；

向所述交集列表中的任一验证服务器发送验证请求；

若在预设时间内收到所述验证服务器反馈的信息，确认所述当前模型可用；

若在预设时间内未收到所述验证服务器反馈的信息，确认所述当前模型不可用。