[发明专利]数据处理流程设定方法和装置

说明书

本说明书实施例公开了一种数据处理流程设定方法和装置，所述方法包括：获取所述数据处理流程的语言描述，其中，所述语言描述包括，所述数据处理流程的输入数据集的名称、在所述数据处理流程中获取的各个中间数据集的名称、所述数据处理流程的输出数据集的名称、各个数据集之间的处理逻辑、以及与所述各个数据集分别对应的多个算子，其中所述多个算子用于施加与所述各个数据集分别对应的数据处理；获取配置信息，所述配置信息中包括对所述各个数据集和所述多个算子的配置；基于所述语言描述和所述配置信息，对用于实施所述数据处理流程的计算模块进行设定。

技术领域

本说明书实施例涉及数据处理领域，更具体地，涉及数据处理流程设定方法和装置。

背景技术

针对互联网中海量规模、无限增长的大数据，机器学习是非常高效有用的工具。大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。在针对大数据的机器学习领域，用户在样本生成，特征工程等方面投入的时间与精力占据了很大的比例。尤其在数据预处理时，用户需要读取各种数据源。如果数据量很大，超过单机的处理能力，则需要借助大数据计算平台，其调试逻辑往往相当耗时。目前常用的实时计算平台有storm、flink，spark等。对于用户暴露的接口，常见的是两种接口，sql接口；以及，基于面向流数据对象的开发接口。其中，sql要求数据结构化，而基于面向流数据对象的开发接口面向开发者，调试需要重新编译代码。而机器学习中常有复杂的流处理需求，如在线学习依赖的实时样本生成、特征抽取常涉及较为复杂的业务逻辑。因此，需要一种更有效的数据处理流程设定方案，以满足上述需求。

发明内容

本说明书实施例旨在提供一种更有效的数据处理流程设定方法，以解决现有技术中的不足。

为实现上述目的，本说明书一个方面提供一种数据处理流程设定方法，包括：获取所述数据处理流程的语言描述，其中，所述语言描述包括，所述数据处理流程的输入数据集的名称、在所述数据处理流程中获取的各个中间数据集的名称、所述数据处理流程的输出数据集的名称、各个数据集之间的处理逻辑、以及与所述各个数据集分别对应的多个算子，其中所述多个算子用于施加与所述各个数据集分别对应的数据处理；获取配置信息，所述配置信息中包括对所述各个数据集和所述多个算子的配置；基于所述语言描述和所述配置信息，对用于实施所述数据处理流程的计算模块进行设定。

在一个实施例中，在上述数据处理流程设定方法中，所述多个算子中包括用户自定义算子，所述方法还包括，在获取所述数据处理流程的语言描述之后，获取用于实现所述用户自定义算子的代码，以及其中，所述基于所述数据处理流程的语言描述和所述配置信息，对用于实施所述数据处理流程的计算模块进行设定包括，基于所述语言描述、所述配置信息和所述代码，对用于实施所述数据处理流程的计算模块进行设定。

在一个实施例中，在上述数据处理流程设定方法中，所述语言描述为类dot语言描述，所述类dot语言以dot语言的语法结构对数据处理流程进行描述。

在一个实施例中，在上述数据处理流程设定方法中，所述类dot语言描述被保存为dot文件。

在一个实施例中，在上述数据处理流程设定方法中，所述配置信息配置所述多个算子的参数。

在一个实施例中，在上述数据处理流程设定方法中，所述语言描述与所述配置信息被保存在一个文件中。

在一个实施例中，在上述数据处理流程设定方法中，所述配置信息被保存为以下一种文件：conf文件、xml文件、yaml文件、json文件和properties文件。

在一个实施例中，在上述数据处理流程设定方法中，所述计算模块为外部计算平台，所述基于所述语言描述和所述配置信息，对用于实施所述数据处理流程的计算模块进行设定包括，基于所述语言描述和所述配置文件，生成用于输入所述计算平台的任务代码，所述计算平台通过执行所述任务代码而实施所述数据处理流程。