[发明专利]一种基于REST的多框架机器学习模型部署预测方法

说明书

本发明公开了一种基于REST的多框架机器学习模型部署预测方法，包括如下步骤：S1、通过REST部署接口接收模型部署请求，并对请求体及其模型文件进行初步校验；S2、通过模型管理器解析模型文件，强校验并存储模型文件及其元数据信息；S3、通过模型部署处理器部署相应的机器学习框架模型；S4、通过REST输入接口接收模型预测请求，并封装为标准请求体；S5、通过预测任务调度器进行任务调度；S6、通过预测管理器启动不同机器学习框架的预测作业；S7、通过预测结果处理器返回预测结果。本发明通过封装的REST接口统一模型部署、预测的输入和输出格式，可减轻模型的开发、适配、维护及使用成本。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于REST的多框架机器学习模型部署预测方法。

背景技术

随着人工智能时代的到来，数据分析人员会使用各种不同的机器学习框架进行数据分析，如TensorFlow、PyTorch、XGBoost、ScikitLearn等。目前通过REST部署和预测机器学习模型的开源方案中，仍存在较多不足，例如：Openscoring只支持PMML模型的部署，会造成预测结果的偏差，无法支持复杂模型部署等；而Tensorflow Serving虽然支持复杂模型的预测，但是无法支持其他机器学习框架模型、无法通过REST方式进行模型部署，模型的动态更新也需要通过gRPC的方式进行手动处理。

针对不同机器学习框架训练出来的模型，开发人员通常要引入多种开源组件才能部署不同的模型，而且部署模型所需的运行环境和预测数据格式也都有所不同，导致其开发、适配、使用和维护成本都很高。

发明内容

为解决上述问题，本发明提供了一种基于REST的多框架机器学习模型部署预测方法。

本发明采用以下技术方案：

一种基于REST的多框架机器学习模型部署预测方法，包括如下步骤：

S1、通过REST部署接口接收模型部署请求，并对请求体及其模型文件进行初步校验；

S2、通过模型管理器解析模型文件，强校验并存储模型文件及其元数据信息；

S3、通过模型部署处理器部署相应的机器学习框架模型；

S4、通过REST输入接口接收模型预测请求，并封装为标准请求体；

S5、通过预测任务调度器进行任务调度；

S6、通过预测管理器启动不同机器学习框架的预测作业；

S7、通过预测结果处理器返回预测结果。

进一步地，步骤S1具体包括如下步骤：

S11、REST部署接口接收模型部署请求；

S12、进行初步校验，所述初步校验即先校验请求体格式的有效性，再对请求体中的模型文件的大小和格式进行校验；

S13、初步校验通过后，将模型文件转发到模型管理器。

进一步地，步骤S2具体包括如下步骤：

S21、模型管理器对上传的模型文件进行解析，通过后缀名称判断模型所属的模型框架；

S22、根据相应模型框架的格式规范对模型文件和内容进行格式的强校验；

S23、强校验通过后，存储模型文件及其元数据信息，然后调用模型部署处理器进行下一步操作。

进一步地，所述元数据信息包括模型文件的路径、大小及类型。

进一步地，步骤S3具体包括如下步骤：