[发明专利]一种基于Kubeflow的自动化数据处理方法及系统在审
| 申请号： | 202110818257.8 | 申请日： | 2021-07-20 |
| 公开（公告）号： | CN113703756A | 公开（公告）日： | 2021-11-26 |
| 发明（设计）人： | 吕广宪;刘鹏;王国庆;陆一鸣;黄雨;周旺;杜建;苏雪源 | 申请（专利权）人： | 国网上海能源互联网研究院有限公司;国家电网有限公司;国网福建省电力有限公司厦门供电公司 |
| 主分类号： | G06F8/36 | 分类号： | G06F8/36;G06F8/30;G06F9/448;G06N20/00 |
| 代理公司： | 北京工信联合知识产权代理有限公司 11266 | 代理人： | 夏德政 |
| 地址： | 200131 上海市浦东新区中国（上海）自*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 kubeflow 自动化 数据处理 方法 系统 | ||
1.一种基于Kubeflow的自动化数据处理方法，所述方法包括：
将处理数据用的代码沉淀为数据处理算子；
确定待处理的数据集及处理数据集的目标数据处理算子，根据待处理的处理数据集的数据处理流程，将目标数据处理算子构建为DAG；
调用Kubeflow接口执行DAG处理待处理的数据集。
2.根据权利要求1所述的方法，所述DAG中的每一个节点都对应着一个数据处理算子，在DAG中，数据处理算子被包装为一个Pod运行在K8S或Docker集群中处理数据任务；
若数据集中数据较大时，数据处理算子将数据处理任务提交到Spark集群、Flink集群、MapReduce集群或GPU集群。
3.根据权利要求1所述的方法，所述构建DAG，包括：
将数据处理算子封装成Component，并定义每个Component的输入及输出；
按照数据处理流程将Component连接成一个数据处理DAG。
4.根据权利要求1所述的方法，所述DAG存储成Json的格式。
5.根据权利要求1所述的方法，所述DAG的执行流程，包括：
采用BFS算法对DAG进行解析，将解析后的DAG构建为Kubeflow的Pipeline，执行Pipeline。
6.根据权利要求1所述的方法，所述方法还包括：执行构建数据处理算子的代码，将代码构建成数据处理算子Image存储到数据算子仓库中。
7.一种基于Kubeflow的自动化数据处理系统，所述系统包括：
初始模块，将处理数据用的代码沉淀为数据处理算子；
DAG构建模块，确定待处理的数据集及处理数据集的目标数据处理算子，根据待处理的处理数据集的数据处理流程，将目标数据处理算子构建为DAG；
执行模块，调用Kubeflow接口执行DAG处理待处理的数据集。
8.根据权利要求7所述的系统，所述DAG中的每一个节点都对应着一个数据处理算子，在DAG中，数据处理算子被包装为一个Pod运行在K8S或Docker集群中处理数据任务；
若数据集中数据较大时，数据处理算子将数据处理任务提交到Spark集群、Flink集群、MapReduce集群或GPU集群。
9.根据权利要求7所述的系统，所述构建DAG，包括：
将数据处理算子封装成Component，并定义每个Component的输入及输出；
按照数据处理流程将Component连接成一个数据处理DAG。
10.根据权利要求7所述的系统，所述DAG存储成Json的格式。
11.根据权利要求7所述的系统，所述DAG的执行流程，包括：
采用BFS算法对DAG进行解析，将解析后的DAG构建为Kubeflow的Pipeline，执行Pipeline。
12.根据权利要求7所述的系统，所述初始模块还用于：执行构建数据处理算子的代码，将代码构建成数据处理算子Image存储到数据算子仓库中。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国网上海能源互联网研究院有限公司;国家电网有限公司;国网福建省电力有限公司厦门供电公司，未经国网上海能源互联网研究院有限公司;国家电网有限公司;国网福建省电力有限公司厦门供电公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110818257.8/1.html，转载请声明来源钻瓜专利网。
