[发明专利]一种基于REST的多框架机器学习模型部署预测方法

权利要求书

1.一种基于REST的多框架机器学习模型部署预测方法，其特征在于：包括如下步骤：

S1、通过REST部署接口接收模型部署请求，并对请求体及其模型文件进行初步校验；

S2、通过模型管理器解析模型文件，强校验并存储模型文件及其元数据信息；

S3、通过模型部署处理器部署相应的机器学习框架模型；

S4、通过REST输入接口接收模型预测请求，并封装为标准请求体；

S5、通过预测任务调度器进行任务调度；

S6、通过预测管理器启动不同机器学习框架的预测作业；

S7、通过预测结果处理器返回预测结果。

2.如权利要求1所述的一种基于REST的多框架机器学习模型部署预测方法，其特征在于：步骤S1具体包括如下步骤：

S11、REST部署接口接收模型部署请求；

S12、进行初步校验，所述初步校验即先校验请求体格式的有效性，再对请求体中的模型文件的大小和格式进行校验；

S13、初步校验通过后，将模型文件转发到模型管理器。

3.如权利要求2所述的一种基于REST的多框架机器学习模型部署预测方法，其特征在于：步骤S2具体包括如下步骤：

S21、模型管理器对上传的模型文件进行解析，通过后缀名称判断模型所属的模型框架；

S22、根据相应模型框架的格式规范对模型文件和内容进行格式的强校验；

S23、强校验通过后，存储模型文件及其元数据信息，然后调用模型部署处理器进行下一步操作。

4.如权利要求3所述的一种基于REST的多框架机器学习模型部署预测方法，其特征在于：所述元数据信息包括模型文件的路径、大小及类型。

5.如权利要求3所述的一种基于REST的多框架机器学习模型部署预测方法，其特征在于：步骤S3具体包括如下步骤：

S31、模型部署处理器接收到部署请求后，根据所述元数据信息遍历模型部署处理器列表，查找对应的模型部署处理器，并从模型管理器获取模型文件进行模型部署；

S32、部署时，先判断模型服务是否存在，若存在则另起一个服务，并根据请求量逐步关闭旧模型服务，实现动态更新；

S33、模型部署成功后，根据不同的模型部署请求生成相对应的REST输入接口。

6.如权利要求5所述的一种基于REST的多框架机器学习模型部署预测方法，其特征在于：步骤S4具体包括如下步骤：

S41、接收到模型预测请求后，对REST输入接口进行权限校验和限流处理，并记录模型预测请求的接口日志；所述模型预测请求包括在线预测请求和离线批量预测请求；

S42、根据模型预测请求的类型及对应的REST输入接口，将模型预测请求分别封装为标准格式的请求体，并提交给预测任务调度器。

7.如权利要求6所述的一种基于REST的多框架机器学习模型部署预测方法，其特征在于：在步骤S5中，预测任务调度器对在线预测请求和离线批量预测请求进行资源隔离：对于在线预测请求实时响应；对于离线批量预测请求则进入执行队列中排队，当任务执行超过5小时，则取消任务释放集群资源。

8.如权利要求7所述的一种基于REST的多框架机器学习模型部署预测方法，其特征在于：步骤S6具体为：预测管理器读取预测任务列表，获取模型文件的元数据信息和预测任务的详细信息，使用不同的机器学习框架进行预测，预测过程中记录服务器的CPU、GPU、内存及资源使用情况、统计任务耗时指标。

9.如权利要求8所述的一种基于REST的多框架机器学习模型部署预测方法，其特征在于：所述机器学习框架包括TensorFlow、PyTorch、XGBoost、ScikitLearn、PMML或H20中的一种或几种。

10.如权利要求8所述的一种基于REST的多框架机器学习模型部署预测方法，其特征在于：步骤S7中所述预测结果处理器根据预测请求的类型提供相对应的REST输出接口，并返回标准格式的预测结果；其中，针对在线预测请求提供同步REST输出接口，针对离线批量预测请求提供异步REST输出接口。