[发明专利]一种模型预测系统及方法

说明书

本说明书提供一种模型预测系统及方法，将不同的模型服务资源模块进行隔离，使得不同的模型预测服务的CPU、内存等资源不会共享，降低了不同的模型预测服务之间的干扰。独立部署不同的模型服务资源模块，可以实现单独对某个模型预测服务进行缩容、扩容等管理，降低了合并部署的资源浪费。预测模型服务模块则可以实现模型预测服务的运行状态的管理，提高了预测服务的稳定性、灵活性和服务能力。

技术领域

本说明书属于计算机技术领域，尤其涉及一种模型预测系统及方法。

背景技术

现如今，机器学习越来越火，机器学习产出的模型更多的替换了传统的规则模型在线上业务使用，模型实时打分的能力需要有一个统一的架构来实现。模型预测服务可以实现在线实时预测，并且要保证服务本身的稳定，提供基本在线服务能力。

现有技术中，在线预测服务一般是通过打包部署在一台应用服务器上面，多个服务占用同一分资源，服务之间可能会相互影响，比如一个服务占用内存太高，相应的会影响其他服务。并且，服务扩容比较麻烦，不同的服务扩容时，需要一起扩，导致不必要的资源浪费，并且使得在线服务能力不够灵活，不方便管理。

发明内容

本说明书目的在于提供一种模型预测系统及方法，实现了在线模型预测服务的灵活管理和运维。

一方面本说明书实施例提供了一种模型预测系统，包括：

模型服务资源模块，用于提供模型预测服务，不同的模型服务资源模块之间相互隔离；

预测模型服务模块，用于维护所述模型服务资源模块与所述模型服务资源模块的部署设备之间的映射关系，以及在检测到模型服务资源模块发生变化时，更新所述模型服务资源模块的运行状态，所述模型服务资源模块发生变化包括：模型服务资源模块的新增、删除、修改，以及模型服务资源模块提供的模型预测服务的开启和停止。

进一步地，所述系统的另一个实施例中，不同的模型服务资源模块设置在不同的容器中。

进一步地，所述系统的另一个实施例中，不同的模型服务资源模块设置在不同的虚拟机中。

进一步地，所述系统的另一个实施例中，采用部署模板构建所述模型服务资源模块，所述部署模板包括：不同的编程语言对应的运行环境。

进一步地，所述系统的另一个实施例中，所述模型服务资源模块支持java、c++、python中的至少一种编程语言。

进一步地，所述系统的另一个实施例中，所述模型服务资源模块支持超文本传输协议、远程过程调用协议中的至少一种。

进一步地，所述系统的另一个实施例中，所述预测模型服务模块具体用于：根据所述模型服务资源模块的注册信息，获得所述模型服务资源模块的部署设备信息，并将所述模型服务资源模块与所述模型服务资源模块的部署设备之间的映射关系进行存储。

进一步地，所述系统的另一个实施例中，所述系统还包括客户端，用于向所述预测模型服务模块发送服务查询请求，查询所需服务对应的部署设备，根据查询结果，调用模型服务资源模块。

进一步地，所述系统的另一个实施例中，所述系统还包括服务管控模块，用于对所述模型服务资源模块进行生命周期管理，所述生命周期管理包括：扩容、缩容、更新中的至少一种。

进一步地，所述系统的另一个实施例中，所述服务管控模块具体用于：根据所述模型服务资源模块的负载信息，对所述模型服务资源模块进行扩容或缩容。

另一方面，本说明书提供了一种模型预测系统，包括：

模型服务引擎，用于提供模型预测服务，不同的模型服务引擎之间相互隔离；