[发明专利]模型部署方法、装置、设备和计算机存储介质

权利要求书

1.一种模型部署方法，其特征在于，所述方法包括：

获取当前模型的模型部署请求，所述模型部署请求中携带有模型信息；

根据所述模型部署请求确定当前模型部署所需的资源信息；

基于所述资源信息和服务器监控信息，在模型服务集群中选取满足所述资源信息的第一服务器列表，所述第一服务器列表中至少包含两个目标服务器，所述目标服务器为已进行服务注册的服务器；

向所述目标服务器发送模型部署请求，并以轮询方式向所述目标服务器发送第一模型预测请求；

若在指定时间窗口内接收到所述目标服务器基于所述第一模型预测请求反馈的信息，记录成功部署的所述第一服务器列表和所述当前模型的模型标识。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述模型服务集群中不存在满足所述资源信息的服务器列表，生成部署失败信息。

3.根据权利要求1所述的方法，其特征在于，所述向所述目标服务器发送模型部署请求，包括：

基于MQ广播向所述目标服务器发送模型部署请求。

4.根据权利要求1所述的方法，其特征在于，还包括：

若在指定时间窗口内未接收到所述目标服务器基于所述第一预测请求反馈的信息，记录部署失败的所述第一服务器列表，并生成部署失败信息。

5.根据权利要求1所述的方法，其特征在于，还包括：

接收业务方发送的第二模型预测请求，所述第二模型预测请求中携带有所述当前模型的模型标识；

基于所述第二模型预测请求获取包含当前提供服务的所有服务器的第二服务器列表，以及所述当前模型成功部署的所述第一服务器列表；

获取所述第一服务器列表和第二服务器列表的交集列表；

向所述交集列表中的任一验证服务器发送验证请求；

若在预设时间内收到所述验证服务器反馈的信息，确认所述当前模型可用；

若在预设时间内未收到所述验证服务器反馈的信息，确认所述当前模型不可用。

6.根据权利要求5所述的方法，其特征在于，还包括：

若获取到的所述第一服务列表、所述第二服务器列表和所述交集列表中任一一个列表为空，生成异常信息，所述异常信息用于指示预测失败。

7.一种模型部署装置，其特征在于，所述模型部署装置包括：

监控管理模块，用于获取当前模型的模型部署请求，所述模型部署请求中携带有模型信息，根据所述模型部署请求确定当前模型部署所需的资源信息；基于所述资源信息和服务器监控信息，在模型服务集群中选取满足所述资源信息的第一服务器列表，向所述目标服务器发送模型部署请求，并以轮询方式向所述目标服务器发送第一模型预测请求，并接收所述目标服务器在指定时间窗口内基于所述第一模型预测请求反馈的信息，并使所述存储模块进行记录，所述第一服务器列表中至少包含两个目标服务器，所述目标服务器为已进行服务注册的服务器；

所述模型服务集群模块，用于存储按照资源信息分配的不同的服务器列表；

存储模块，用于记录成功部署的所述第一服务器列表和所述当前模型的模型标识。

8.根据权利要求7所述的装置，其特征在于，还包括：

路由模块，用于接收业务方发送的第二模型预测请求，所述第二模型预测请求中携带有所述当前模型的模型标识；基于所述第二模型预测请求获取包含当前提供服务的所有服务器的第二服务器列表，以及由所述存储模块获取所述当前模型成功部署的所述第一服务器列表；以及获取所述第一服务器列表和第二服务器列表的交集列表；向所述交集列表中的任一验证服务器发送验证请求；若在预设时间内收到所述验证服务器反馈的信息，确认所述当前模型可用；若在预设时间内未收到所述验证服务器反馈的信息，确认所述当前模型不可用。

9.一种电子设备，其特征在于，所述电子设备用于运行程序，其中，所述程序运行时执行如权利要求1至5中任一所述的模型部署方法。

10.一种计算机存储介质，其特征在于，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1至5中任一所述的模型部署方法。