[发明专利]一种模型部署及推理的方法和装置

权利要求书

1.一种模型部署方法，其特征在于，所述方法包括：

接收目标代码数据，所述目标代码数据包括预先构建的通用部署框架，以及基于所述通用部署框架配置的、针对目标机器学习模型的配置参数和调用代码；

根据所述配置参数生成部署脚本；

根据所述调用代码生成第一容器镜像；

获取所述目标机器学习模型的第二容器镜像；

采用所述部署脚本将所述第一容器镜像与所述第二容器镜像部署到指定集群中，其中，在部署时，所述第一容器镜像对应的第一容器与所述第二容器镜像对应的第二容器被部署到所述指定集群的同一命名空间下。

2.根据权利要求1所述的方法，其特征在于，所述通用部署框架包括脚本模板以及生成器，所述根据所述配置参数生成部署脚本包括：

采用所述生成器，基于所述脚本模板以及所述配置参数生成部署脚本。

3.根据权利要求1或2所述的方法，其特征在于，所述调用代码包括接口代码和服务代码；所述通用部署框架包括接口文件、服务器文件、资源文件以及镜像文件；所述接口代码为通过参考所述接口文件与接口调用方协商开发接口后，在所述服务器文件中实现的所述开发接口的代码；所述服务代码为在所述资源文件中开发的、用于描述服务的处理逻辑的代码；

所述根据所述调用代码生成第一容器镜像包括：

通过所述镜像文件将所述接口代码和所述服务代码打包成第一容器镜像。

4.根据权利要求1或2所述的方法，其特征在于，所述配置参数包括所述目标机器学习模型的模型镜像名称，所述获取所述目标机器学习模型的第二容器镜像包括：

根据所述模型镜像名称从云端的镜像仓库中拉取对应的第二容器镜像。

5.根据权利要求1所述的方法，其特征在于，所述部署脚本包括灰度部署脚本以及生产部署脚本；

所述采用所述部署脚本将所述第一容器镜像与所述第二容器镜像部署到指定集群中包括：

当接收到灰度部署请求时，采用所述灰度部署脚本将所述第一容器镜像与所述第二容器镜像部署到指定集群中；

当接收到停止灰度部署请求时，从所述指定集群中下线所述第一容器镜像与所述第二容器镜像；

当接收到生产部署请求时，采用所述生产部署脚本将所述第一容器镜像与所述第二容器镜像部署到指定集群中。

6.根据权利要求5所述的方法，其特征在于，在所述采用所述部署脚本将所述第一容器镜像与所述第二容器镜像部署到指定集群中之前，所述方法还包括：

展示部署界面，所述部署界面包括灰度部署按钮、停止灰度部署按钮以及生产部署按钮，其中，所述灰度部署请求为所述灰度部署按钮被触发时生成的请求；所述停止灰度部署请求为所述停止灰度部署按钮被触发时生成的请求；所述生产部署请求为所述生产部署按钮被触发时生成的请求。

7.根据权利要求1所述的方法，其特征在于，所述通用部署框架的前端采用flask框架，并使用gunicorn框架进行多进程并发；

所述通用部署框架的后端使用kubernetes框架进行部署；

所述通用部署框架使用容器管理平台Rancher作为UI界面，用于查看服务的状态及查询服务的日志；

所述通用部署框架通过代码托管平台gitlab的持续集成CI或持续交付CD功能完成前端与后端的交互。

8.一种模型推理的方法，其特征在于，所述模型为根据权利要求1中的通用部署框架完成线上部署的模型，所述方法包括：

接收客户端发送的调用请求；

解析所述调用请求，以确定目标处理对象以及目标处理逻辑；

调用所述目标处理逻辑对所述目标处理对象进行处理，所述处理包括预处理、模型推理处理以及后处理。