[发明专利]数据处理方法和装置以及脚本显示方法和装置有效
| 申请号: | 201711064594.2 | 申请日: | 2017-11-02 |
| 公开(公告)号: | CN110019207B | 公开(公告)日: | 2023-07-21 |
| 发明(设计)人: | 王新波;张明;曾文秋 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
| 主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/25 |
| 代理公司: | 北京博浩百睿知识产权代理有限责任公司 11134 | 代理人: | 宋子良 |
| 地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据处理 方法 装置 以及 脚本 显示 | ||
1.一种数据处理方法,其特征在于,包括:
确定用于对数据进行处理的工作流,其中,所述工作流包括至少两个工作流节点;
从所述至少两个工作流节点中筛选出满足合并条件的工作流节点;
对所述满足合并条件的工作流节点进行合并,得到合并后的工作流,其中,合并前的工作流节点所产生的数据不会再次被存储,而是直接在合并后的工作流节点内部使用;
依据所述合并后的工作流对所述数据进行处理;
其中,所述从所述至少两个工作流节点中筛选出满足合并条件的工作流节点,包括:根据所述至少两个工作流节点的入度和/或出度来确定满足合并条件的工作流节点,其中,工作流节点的入度为所述工作流节点所具有的父节点的个数,所述工作流节点的出度,为所述工作流节点所具有的子节点的个数。
2.根据权利要求1所述的方法,其特征在于,从所述至少两个工作流节点中筛选出满足合并条件的工作流节点包括:
依据所述工作流所包括的工作流节点之间的依赖关系,从所述至少两个工作流节点中筛选出满足合并条件的工作流节点。
3.根据权利要求2所述的方法,其特征在于,依据所述工作流所包括的工作流节点之间的依赖关系,从所述至少两个工作流节点中筛选出满足合并条件的工作流节点包括:
依据预定依赖模型,从所述至少两个工作流节点中筛选出满足合并条件的工作流节点,其中,所述预定依赖模型用于表征所述工作流所包括的工作流节点之间的依赖关系。
4.根据权利要求3所述的方法,其特征在于,所述预定依赖模型包括以下至少之一:
单依赖模型,其中,所述单依赖模型表征的工作流节点之间的依赖关系是:所述工作流节点只有一个子节点;
多依赖模型,其中,所述多依赖模型表征的工作流节点之间的依赖关系是:所述工作流节点存在多个父节点;
跨依赖模型,其中,所述跨依赖模型表征的工作流节点之间的依赖关系是:所述工作流节点只有一个子节点和一个父节点。
5.根据权利要求4所述的方法,其特征在于,对所述满足合并条件的工作流节点进行合并,得到所述合并后的工作流包括以下至少之一:
在所述预定依赖模型为所述单依赖模型的情况下,将只有一个子节点的所述工作流节点和所述子节点合并为一个节点;
在所述预定依赖模型为所述多依赖模型的情况下,将存在所述多个父节点的所述工作流节点与所述多个父节点合并为一个节点;
在所述预定依赖模型为所述跨依赖模型的情况下,将只有一个子节点和一个父节点的所述工作流节点与所述子节点合并为一个节点。
6.根据权利要求5所述的方法,其特征在于,从所述至少两个工作流节点中筛选出满足合并条件的工作流节点,以及对所述满足合并条件的工作流节点进行合并,得到所述合并后的工作流包括:
依据所述单依赖模型,从所述至少两个工作流节点中筛选出满足合并条件的工作流节点,对筛选出的工作流节点进行合并,其中,所述工作流变成第一工作流;
依据所述多依赖模型,从所述第一工作流所包括的工作流节点中筛选出满足合并条件的工作流节点,对筛选出的工作流节点进行合并,其中,所述第一工作流变成第二工作流;
依据所述跨依赖模型,从所述第二工作流所包括的工作流节点中筛选出满足合并条件的工作流节点,对筛选出的工作流节点进行合并,其中,所述第二工作流变成第三工作流。
7.根据权利要求1所述的方法,其特征在于,对所述满足合并条件的工作流节点进行合并,得到所述合并后的工作流包括:
通过语法生成器,将所述满足合并条件的工作流节点中的每一个工作流节点的脚本生成每一个工作流节点对应的结构化查询语言SQL语句,其中,所述SQL语句中包括:工作流节点输出表,工作流节点对应的查询子句,和工作流节点依赖的表名;
将每一个工作流节点对应的输出表替换为表变量;
依据满足合并条件的工作流节点间上下游关系,将替换为所述表变量的满足合并条件的工作流节点中的每一个工作流节点的SQL语句合并到一个脚本文件中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711064594.2/1.html,转载请声明来源钻瓜专利网。





