[发明专利]服务处理方法、装置以及在线服务系统

说明书

本发明实施例涉及一种服务处理方法、装置以及在线服务系统，包括：在进行在线服务部署时，接收对目标模型的触发操作，将所述目标模型加载至所述在线服务对应的模型池中；当接收到针对所述在线服务的应用请求时，从所述模型池中确定与所述应用请求相匹配的第一模型；利用所述第一模型处理所述应用请求，以提供所述在线服务。由此，可以实现在一个在线服务中加载多个模型，实现了在线服务不下线的情况下也能够动态更新模型，以避免现有技术中更新模型时需要进行新旧服务替换从而导致在线服务一段时间内不可用，影响用户体验的问题。

技术领域

本发明实施例涉及互联网技术领域，尤其涉及一种服务处理方法、装置以及在线服务系统。

背景技术

目前，部署在线服务时，首先选定一个用于提供在线服务的模型，比如预测模型，之后，针对该模型部署一个在线服务。在模型更新，比如版本升级后，则针对更新后的模型再部署一个在线服务。在该新的在线服务(以下简称新服务)部署完成后，下线之前的在线服务(以下简称旧服务)并上线新服务。

由此可见，现有的在线服务是基于一个模型部署的，当模型更新时，则需要重新部署在线服务，过程繁杂，并且涉及到新、旧服务切换，如此将导致在线服务在一段时间内不可用，影响用户体验。

发明内容

鉴于此，为解决上述当模型更新时需要重新部署在线服务，导致过程繁杂且在线服务在一段时间内不可用，影响用户体验的技术问题，本发明实施例提供一种服务处理方法、装置以及在线服务系统。

第一方面，本发明实施例提供一种服务处理方法，包括：

在进行在线服务部署时，接收对目标模型的触发操作，将所述目标模型加载至所述在线服务对应的模型池中；

当接收到针对所述在线服务的应用请求时，从所述模型池中确定与所述应用请求相匹配的第一模型；

利用所述第一模型处理所述应用请求，以提供所述在线服务。

在一可能的实施方式中，所述将所述目标模型加载至所述在线服务对应的模型池中，包括：

在接收到对目标模型的触发操作时，触发在线服务部署请求，所述在线服务部署请求用于指示新增在线服务；

创建部署所述在线服务所需的虚拟环境，将所述在线服务部署至所述虚拟环境中；

在所述虚拟环境进行初始化的过程中将初始的模型池加载至所述在线服务，初始的所述模型池为空；

将所述目标模型加载至初始的所述模型池中。

在一可能的实施方式中，所述将所述目标模型加载至所述在线服务对应的模型池中，包括：

在接收到对目标模型的触发操作时，触发在线服务更新请求，所述在线服务更新请求用于指示在所述在线服务中新增模型；

将所述目标模型加载至所述在线服务对应的模型池中。

在一可能的实施方式中，在所述将所述目标模型加载至所述在线服务对应的模型池中之前，所述方法还包括：

获取所述在线服务对应的虚拟环境的空闲资源信息；

在所述空闲资源信息满足预设条件时，执行将所述目标模型加载至所述在线服务对应的模型池中的步骤；

在所述空闲资源信息不满足预设条件时，停止执行将所述目标模型加载至所述在线服务对应的模型池中的步骤，以及触发告警提示，所述告警提示用于指示所述空闲资源信息小于所述目标模型的预计资源配额。

在一可能的实施方式中，所述方法还包括：

在接收到模型删除指令时，根据所述模型删除指令从所述模型池中确定待删除模型；

将所述待删除模型从所述模型池中删除。