[发明专利]一种模型部署及推理的方法和装置

说明书

本申请公开了一种模型部署及推理的方法和装置，其中所述模型部署方法包括：接收目标代码数据，所述目标代码数据包括预先构建的通用部署框架，以及基于所述通用部署框架配置的、针对目标机器学习模型的配置参数和调用代码；根据所述配置参数生成部署脚本；根据所述调用代码生成第一容器镜像；获取所述目标机器学习模型的第二容器镜像；采用所述部署脚本将所述第一容器镜像与所述第二容器镜像部署到指定集群中，以此实现模型的快速上线部署，开发人员仅仅需要在通用部署框架的基础上进行开发，编写少量的代码就可以完成模型的上线部署，简化了原有流程，降低了开发人员部署的难度，提高了开发人员对模型上线部署的效率和降低了部署成本。

技术领域

本申请实施例涉及自动化部署技术，尤其涉及一种模型部署及推理的方法和装置。

背景技术

随着近年来深度学习的飞速发展，基于神经网络的各类算法在处理包括语音、文本、图像等数据上展现了十分优异的性能，其相较于传统的算法能大幅提升模型预测的准确性。

在相关技术中，一个基于神经网络的深度学习模型落地的常规流程包括：(1)收集业务相关数据，训练模型，开发业务逻辑代码；(2)定义http请求接口，开发http请求处理代码；(3)在物理机上配置环境，部署模型及相关业务代码；(4)接口调用，按需调整部署机器数量。这套传统的部署方案存在着开发周期长、人员成本高(需要不同背景的开发人员共同开发)、服务伸缩困难等缺点。

发明内容

本申请提供一种模型部署及推理的方法和装置，以解决现有技术中进行模型上线部署时遇到的开发周期长、人员成本高、服务伸缩困难等问题。

第一方面，本申请实施例提供了一种模型部署方法，所述方法包括：

接收目标代码数据，所述目标代码数据包括预先构建的通用部署框架，以及基于所述通用部署框架配置的、针对目标机器学习模型的配置参数和调用代码；

根据所述配置参数生成部署脚本；

根据所述调用代码生成第一容器镜像；

获取所述目标机器学习模型的第二容器镜像；

采用所述部署脚本将所述第一容器镜像与所述第二容器镜像部署到指定集群中，其中，在部署时，所述第一容器镜像对应的第一容器与所述第二容器镜像对应的第二容器被部署到所述指定集群的同一命名空间下。

第二方面，本申请实施例还提供了一种模型推理的方法，所述模型为根据上述的通用部署框架完成线上部署的模型，所述方法包括：

接收客户端发送的调用请求；

解析所述调用请求，以确定目标处理对象以及目标处理逻辑；

调用所述目标处理逻辑对所述目标处理对象进行处理，所述处理包括预处理、模型推理处理以及后处理。

第三方面，本申请实施例还提供了一种模型部署装置，所述装置包括：

代码接收模块，用于接收目标代码数据，所述目标代码数据包括预先构建的通用部署框架，以及基于所述通用部署框架配置的、针对目标机器学习模型的配置参数和调用代码；

部署脚本生成模块，用于根据所述配置参数生成部署脚本；

第一容器镜像生成模块，用于根据所述调用代码生成第一容器镜像；

第二容器镜像获取模块，用于获取所述目标机器学习模型的第二容器镜像；

部署模块，用于采用所述部署脚本将所述第一容器镜像与所述第二容器镜像部署到指定集群中，其中，在部署时，所述第一容器镜像对应的第一容器与所述第二容器镜像对应的第二容器被部署到所述指定集群的同一命名空间下。