[发明专利]一种机器学习模型自动化生产线构建方法及系统

权利要求书

1.一种机器学习模型自动化生产线构建方法，其特征在于，包括以下步骤：

根据算子组件配置构建出算子组件，并将所述算子组件存入算子仓库；

可视化编排读取所述算子仓库中的算子结构数据，将所述算子组件通过业务处理逻辑组合生成模型任务流；

将所述模型任务流转换为云原生工作流引擎执行计划，并提交给容器集群执行以输出模型文件；

基于模型打包，进行所述模型文件转换和模型推理容器镜像构建操作，将所述操作对应数据存入模型仓库；

读取所述模型仓库中的模型数据并解析生成三种算子，将所述三种算子组件组合形成模型发布任务流以提交给所述容器集群执行模型发布流程。

2.根据权利要求1所述的机器学习模型自动化生产线构建方法，其特征在于，所述根据算子组件配置构建出算子组件，并将所述算子组件存入算子仓库，包括：

将算子文件复制到算子专用的文件存储器中，固化算子运行使用的文件，根据算子依赖环境和基础镜像生成Dockerfile文件并提交给Docker Daemon进行算子运行镜像的构建操作，构建完成后通知Docker Daemon将算子运行镜像推送指镜像仓库，算子文件在存储库中的地址和算子运行镜像信息被写入算子组件配置中，将算子组件信息存入算子仓库中完成算子构建，根据算子组件配置，生成算子测试模板并在前端展示，提交所述算子测试模板生成单节点任务流，并转换为云原生工作流执行计划提交给容器集群执行，得到算子执行日志；其中，所述算子仓库包括文件存储器、关系型数据库和镜像仓库，分别用于存储算子代码、算子结构数据和容器镜像文件。

3.根据权利要求2所述的机器学习模型自动化生产线构建方法，其特征在于，所述可视化编排读取所述算子仓库中的算子结构数据，将所述算子组件通过业务处理逻辑组合生成模型任务流，包括：

读取目前算子仓库的算子信息，并根据算子组件的配置信息在前端任务流画布左侧算子列表中展示算子组件，将构建模型任务流需要的算子放置于中间画布中，根据算子的配置生成算子组件连接端点，算子组件上方端点作为输入端点，下方端点作为输出端点，选中算子后画布右侧是算子配置面板，依据模型生产线流程将每个算子的输入端和输出端连接，并且在每个算子的配置面板配置好相关参数完成对模型工作流的构建，构建完成后保存构建好的模型任务流。

4.根据权利要求3所述的机器学习模型自动化生产线构建方法，其特征在于，所述方法还包括：根据特定规则为不同类型的算子生成统一格式的JSON配置文件，用户按特定顺序连接每个算子的输入端和输出端构建任务流，并根据每条连线的边和节点自动配置算子的输入设置和输出设置，在进行任务流编排时，读取并解析算子仓库中的算子结构数据，根据操作动态生成JSON格式的任务流配置，执行保存任务流操作时，前端将所述JSON格式的任务流配置发送到后端进行保存。

5.根据权利要求4所述的机器学习模型自动化生产线构建方法，其特征在于，所述将所述模型任务流转换为云原生工作流引擎执行计划，并提交给容器集群执行，以输出模型文件，包括：

将所述模型任务流结构数据进行解析和转换，生成云原生工作流执行计划，并提交给容器集群执行所述模型任务流，模型任务流执行产生的模型数据文件存于对象存储服务器：包括：执行模型任务流时，验证所述JSON格式的任务流配置，验证完成后解析所述JSON格式的模型任务流配置，并转换为云原生工作流执行计划，运行完成后从容器集群获取模型工作流各个节点的运行日志信息；其中，所述云原生工作流执行计划包括：创建运行算子组件所需的容器集群资源对象、算子运行容器输入输出文件的中转操作中的多种。