[发明专利]基于机器学习的模型部署方法、系统、服务器和存储介质

说明书

本申请涉及模型部署技术领域，特别是涉及基于机器学习的模型部署方法、系统、服务器和存储介质。该方法包括：训练模型步骤，通过机器学习进行模型训练得到模型；调用步骤，模型调用模型部署系统；模型框架选择步骤，基于模型选择模型部署系统上已部署的模型框架或通过自定义模型框架进行部署；部署参数配置步骤，接受并根据已选择的模型框架，结合模型进行部署参数配置；部署模型步骤，基于模型框架，将模型部署到物理机或k8s上；响应并发服务请求步骤，基于部署参数配置后的模型框架调用模型。通过本申请，解决了现有技术中支持框架单一的问题，实现了部署根据不同机器学习的框架开发出来的模型统一部署。

技术领域

本申请涉及模型部署技术领域，特别是涉及基于机器学习的模型部署方法、系统、服务器和存储介质。

背景技术

随着机器学习的广泛应用，企业根据自己的业务场景开发出来的模型也越来越多，使用的机器学习框架也越来越多，如何高效的把模型部署到生成环境中变得尤为重要。

现有技术中，根据不同的机器学习框架有不同的模型部署工具，可以使用这些工具根据部署需求去部署模型，但是存在以下问题：部署脚本需要自己实现，部署步骤繁琐，支持部署方式单一，支持模型框架单一，不支持二次开发。

目前针对上述问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于机器学习的模型部署方法、系统、计算机设备和存储介质，以至少解决相关技术中支持模型框架单一的问题。

第一方面，本申请实施例提供了一种基于机器学习的模型部署方法，包括以下步骤：

训练模型步骤，通过机器学习进行模型训练得到模型；

调用步骤，所述模型调用模型部署系统；

模型框架选择步骤，基于所述模型选择所述模型部署系统上已部署的模型框架或通过自定义模型框架进行部署；

部署参数配置步骤，接受并根据已选择的所述模型框架，结合所述模型进行部署参数配置；

部署模型步骤，基于所述模型框架，将所述模型部署到物理机或k8s上；

响应并发服务请求步骤，基于所述部署参数配置后的所述模型框架调用所述模型。

在其中一些实施例中，所述部署参数配置包括A/B测试、模型输入/输出、批处理、GPU/CPU以及部署模型实例个数。

在其中一些实施例中，所述模型通过SDK或REST API调用所述模型部署系统。

在其中一些实施例中，所述模型框架包括Sklearn、TensorFlow和PyTorch。

在其中一些实施例中，所述物理机或所述k8s上设置有负载均衡。

在其中一些实施例中，所述模型采用Minio存储模型文件。

第二方面，本申请实施例提供了一种基于机器学习的模型部署系统，包括：

模型框架选择模块，基于所述模型选择现有模型框架或通过自定义模型框架进行部署；

部署参数配置模块，接受并根据已选择的所述模型框架，结合所述模型进行部署参数配置；

部署模型模块，基于所述模型框架，将所述模型部署到物理机或k8s上；

响应并发服务请求模块，基于所述部署参数配置后的所述模型框架调用所述模型。

在其中一些实施例中，响应并发服务请求模块基于所述部署参数配置后的所述模型框架通过GRPC或TEST API调用所述模型。

第三方面，本申请实施例提供了一种服务器，包括：