[发明专利]一种机器学习模型自动化生产线构建方法及系统

说明书

本发明提供了一种机器学习模型自动化生产线构建方法及系统，其中，该方法包括：根据算子组件配置构建出算子组件，并将算子组件存入算子仓库；可视化编排读取算子仓库中的算子结构数据，将算子组件通过业务处理逻辑组合生成模型任务流；将模型任务流转换为云原生工作流引擎执行计划，并提交给容器集群执行以输出模型文件；基于模型打包，进行模型文件转换和模型推理容器镜像构建操作，将操作对应数据存入模型仓库；读取模型仓库中的模型数据并解析生成三种算子，将三种算子组件组合形成模型发布任务流以提交给容器集群执行模型发布流程。本发明提高模型生产线的构建效率，同时构建而成的模型生产线能够快速训练出新的模型，提高模型生产能力。

技术领域

本发明涉及人工智能技术领域，特别涉及一种机器学习模型自动化生产线构建方法及系统。

背景技术

随着人工智能的发展进入蓬勃发展期，人工智能技术已经被应用到各行各业。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。从实践的意义上来说，机器学习是一种利用数据训练出模型，然后使用模型预测的一种方法。

训练机器学习模型并不是一劳永逸的，面对不断增加的行业数据和不断变化的行业标准，需要一个机器学习模型生产线来更新训练模型。机器学习模型生产线可以固化模型训练和模型部署的步骤，达到训练新模型并将模型部署上线的目的。传统的模型生产线构建方式是纯人工的方式，通过编写多个脚本来处理原始数据，得到模型的训练数据集，再编写模型训练代码来训练模型，最后需要编写模型推理脚本来部署上线模型。传统的模型生产线构建方式需要人工配置依赖环境、手动运行脚本并收集运行结果、人工部署模型并维护模型服务，使得模型开发周期长，模型生产线的各个步骤由于耦合性太强难以升级改造，并且复用性差。人工配置环境的方式还会带来环境依赖冲突等问题。传统的模型生产线构建方式难以适应行业变化带来的模型快速迭代需求。

现有的技术方案缺少模型部署模块，并没有覆盖完整的模型生产线，即从数据源导入到模型上线完整的流程。该系统只针对深度学习模型开发生产线，缺少对一般机器学习模型的支持。该系统对生产线进行高度的封装，只提供少数几个参数选择来改变生产线，缺乏灵活性，且生产线各个步骤不可复用到其他生产线。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

因此，本发明针对上述问题，提出一种机器学习模型自动化生产线构建方法和系统。本发明将机器学习模型生产线构建流程分为算子组件开发、算子编排、模型任务流执行、模型打包、模型发布。具体来说，首先利用容器技术将模型生产线步骤固化为算子组件，解决单机环境依赖、环境冲突问题。接着通过算子编排将多个算子组件组合形成模型任务流，模型任务流中算子可以任意组合和替换，提高模型生产线步骤的复用性。模型任务流通过云原生工作流引擎转换为云原生工作流执行计划，提交给容器集群执行得到模型文件，通过模型打包将模型封装存入模型仓库，最后将模型发布成模型应用，对外提供模型服务。这五个构建流程相互独立又紧密相连，提高模型生产线的构建效率，同时构建而成的模型生产线能够快速训练出新的模型，缩短模型上线的过程，提高模型生产能力。

为此，本发明的第一个目的在于提出一种机器学习模型自动化生产线构建方法，包括：

根据算子组件配置构建出算子组件，并将所述算子组件存入算子仓库；

可视化编排读取所述算子仓库中的算子结构数据，将所述算子组件通过业务处理逻辑组合生成模型任务流；

将所述模型任务流转换为云原生工作流引擎执行计划，并提交给容器集群执行以输出模型文件；

基于模型打包，进行所述模型文件转换和模型推理容器镜像构建操作，将所述操作对应数据存入模型仓库；

读取所述模型仓库中的模型数据并解析生成三种算子，将所述三种算子组件组合形成模型发布任务流以提交给所述容器集群执行模型发布流程。