[发明专利]数据处理方法和装置以及脚本显示方法和装置

说明书

本发明公开了一种数据处理方法和装置以及脚本显示方法和装置。其中，该方法包括：确定用于对数据进行处理的工作流，从至少两个工作流节点中筛选出满足合并条件的工作流节点，并对满足合并条件的工作流节点进行合并，得到合并后的工作流，依据合并后的工作流对数据进行处理，其中，工作流至少包括两个工作流节点。本发明解决了现有技术中工作流中的各个流节点单独处理，处理效率低的技术问题。

技术领域

本发明涉及大数据领域，具体而言，涉及一种数据处理方法和装置以及脚本显示方法和装置。

背景技术

随着现代科技尤其是以互联网为代表的高新科技产业的快速发展，人类的数据处理能力得到了极大地提高。大数据的应用伴随高科技产品而来，并且已经覆盖了社会的各个领域，各种大数据处理平台应运而生。当前大部分大数据处理平台的数据库引擎(例如SQL引擎)可支持表变量的定义和表变量的内联展开，例如，Maxcompute的compiler2.0。根据本领域内的常用技术可知，大数据SQL语言优化器(Optimizer)可以在更大范围的上下文环境下对系统进行优化，可使得大数据的数据处理系统能够得到比较好的优化效果。

目前，在大数据处理任务比较复杂的情况下，通常是将复杂的大数据处理任务分成多个子任务，并通过工作流的方式来执行任务。但在当前的工作流节点只是解析子任务依赖关系的情况下，如果此时仍根据工作流的状态将可执行的任务节点提交到大数据平台，由大数据平台处理，则没有节点间关系的合并优化，每个子节点的输出表数据也会落盘，占用了存储资源。

针对上述现有技术中工作流中的各个流节点单独处理，处理效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理方法和装置以及脚本显示方法和装置，以至少解决现有技术中工作流中的各个流节点单独处理，处理效率低的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理方法，包括：确定用于对数据进行处理的工作流，其中，工作流包括至少两个工作流节点；从至少两个工作流节点中筛选出满足合并条件的工作流节点；对满足合并条件的工作流节点进行合并，得到合并后的工作流；依据合并后的工作流对数据进行处理。

根据本发明实施例的另一方面，还提供了一种脚本显示方法，包括：接收用于查看对数据进行处理的脚本的请求；根据请求，获取脚本，其中，脚本包括合并脚本，合并脚本为：将用于对数据进行处理的工作流所包括的满足合并条件的工作流节点进行合并后得到的合并工作流节点对应的脚本；显示获取的脚本。

根据本发明实施例的另一方面，还提供了一种数据处理装置，包括：确定模块，用于确定用于对数据进行处理的工作流，其中，工作流包括至少两个工作流节点；筛选模块，用于从至少两个工作流节点中筛选出满足合并条件的工作流节点；合并模块，用于对满足合并条件的工作流节点进行合并，得到合并后的工作流；处理模块，用于依据合并后的工作流对数据进行处理。

根据本发明实施例的另一方面，还提供了一种脚本显示装置，包括：接收模块，用于接收用于查看对数据进行处理的脚本的请求；获取模块，用于根据请求，获取脚本，其中，脚本包括合并脚本，合并脚本为：将用于对数据进行处理的工作流所包括的满足合并条件的工作流节点进行合并后得到的合并工作流节点对应的脚本；显示模块，用于显示获取的脚本。

根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行以下处理步骤：确定用于对数据进行处理的工作流，其中，工作流包括至少两个工作流节点；从至少两个工作流节点中筛选出满足合并条件的工作流节点；对满足合并条件的工作流节点进行合并，得到合并后的工作流；依据合并后的工作流对数据进行处理。