[发明专利]一种基于Kubeflow的自动化数据处理方法及系统

说明书

本发明公开了一种基于Kubeflow的自动化数据处理方法及系统，属于自动化数据处理技术领域。本发明方法，包括：将处理数据用的代码沉淀为数据处理算子；确定待处理的数据集及处理数据集的目标数据处理算子，根据待处理的处理数据集的数据处理流程，将目标数据处理算子构建为DAG；调用Kubeflow接口执行DAG处理待处理的数据集。本发明提升了自动化数据处理功的正确性及处理效率。

技术领域

本发明涉及自动化数据处理技术领域，并且更具体地，涉及一种基于Kubeflow的自动化数据处理方法及系统。

背景技术

随着机器学习和深度学习的飞速发展，各行各业都开始拥抱新技术。因此，机器学习、深度学习等技术在国家电网的项目中具有广泛的应用。通常，在机器学习和深度学习中都包含着复杂的数据处理流程。电网的技术人员处理复杂的数据处理非常的耗时，且大多数时候不可复用。

发明内容

针对上述问题，本发明提出了一种基于Kubeflow的自动化数据处理方法，包括：

将处理数据用的代码沉淀为数据处理算子；

确定待处理的数据集及处理数据集的目标数据处理算子，根据待处理的处理数据集的数据处理流程，将目标数据处理算子构建为DAG；

调用Kubeflow接口执行DAG处理待处理的数据集。

可选的，DAG中的每一个节点都对应着一个数据处理算子，在DAG中，数据处理算子被包装为一个Pod运行在K8S或Docker集群中处理数据任务；

若数据集中数据较大时，数据处理算子将数据处理任务提交到Spark集群、Flink集群、MapReduce集群或GPU集群。

可选的，构建DAG，包括：

将数据处理算子封装成Component，并定义每个Component的输入及输出；

按照数据处理流程将Component连接成一个数据处理DAG。

可选的，DAG存储成Json的格式。

可选的，DAG的执行流程，包括：

采用BFS算法对DAG进行解析，将解析后的DAG构建为Kubeflow的Pipeline，执行Pipeline。

可选的，方法还包括：执行构建数据处理算子的代码，将代码构建成数据处理算子Image存储到数据算子仓库中。

本发明还提出了一种基于Kubeflow的自动化数据处理系统，包括：

初始模块，将处理数据用的代码沉淀为数据处理算子；

DAG构建模块，确定待处理的数据集及处理数据集的目标数据处理算子，根据待处理的处理数据集的数据处理流程，将目标数据处理算子构建为DAG；

执行模块，调用Kubeflow接口执行DAG处理待处理的数据集。

可选的，DAG中的每一个节点都对应着一个数据处理算子，在DAG中，数据处理算子被包装为一个Pod运行在K8S或Docker集群中处理数据任务；

若数据集中数据较大时，数据处理算子将数据处理任务提交到Spark集群、Flink集群、MapReduce集群或GPU集群。

可选的，构建DAG，包括：

将数据处理算子封装成Component，并定义每个Component的输入及输出；

按照数据处理流程将Component连接成一个数据处理DAG。

可选的，DAG存储成Json的格式。