[发明专利]数据处理方式生成方法、数据处理方法、装置及电子设备

说明书

本发明实施例提供了一种数据处理方式生成方法、数据处理方法、装置及电子设备，数据处理方式生成方法包括：确定用户通过图形化用户界面在功能算子库中选择的实现算子，作为目标实现算子，其中，功能算子库中存储的实现算子为：预先对用于实现各种数据处理功能的算子进行封装得到的图形化算子；获得各个目标实现算子的配置信息；确定各个目标实现算子之间的数据流向；以每一目标实现算子为节点、且以每一目标实现算子的配置信息为目标实现算子所对应节点的属性，生成用于描述数据处理方式的有向图，进而得到数据处理方式。使用本发明实施例提供的方案可以更高效地生成数据处理方式。

技术领域

本发明涉及互联网技术领域，特别是涉及一种数据处理方式生成方法、数据处理方法、装置及电子设备。

背景技术

随着互联网技术的发展，各种网络平台应运而生。各个网络平台的用户在享用网络平台所提供服务的同时产生了大量的实时数据，网络平台为了解其用户的情况，需要对上述实时数据进行处理。例如，对实时视频播放数据进行统计得到视频播放量、对实时观影数据进行统计得到观影人数、对实时用户数据进行分析生成用户画像等。

为对上述实时数据进行处理，需要生成数据处理方式。相关技术中，通常由工作人员开发用于描述数据处理方式的应用，进而生成数据处理方式。

然而，由于不同的实时数据具有不同的特点，所以需要生成不同的数据处理方式，以对不同的实时数据进行处理，这样需要工作人员开发不同的应用。然而开发每一个应用均需要一定的开发周期，开发不同的应用需要的开发周期则更长，因此，通过开发人员开发应用的方式生成数据处理方式效率低。

发明内容

本发明实施例的目的在于提供一种数据处理方式生成方法、数据处理方法、装置及电子设备，以更高效地生成数据处理方式。具体技术方案如下：

第一方面，本发明实施例提供了一种数据处理方式生成方法，所述方法包括：

确定用户通过图形化用户界面在功能算子库中选择的实现算子，作为目标实现算子，其中，所述功能算子库中存储的实现算子为：预先对用于实现各种数据处理功能的算子进行封装得到的图形化算子；

获得各个目标实现算子的配置信息；

确定各个目标实现算子之间的数据流向；

以每一目标实现算子为节点、且以每一目标实现算子的配置信息为目标实现算子所对应节点的属性，生成用于描述数据处理方式的有向图，进而得到所述数据处理方式，其中，所述有向图中两个节点间有向连线的方向与所述两个节点所对应的目标实现算子间的数据流向一致。

可选的，所述有向图为：有向无环图DAG。

可选的，所述确定用户通过图形化用户界面在功能算子库中选择的实现算子，包括：

确定用户通过图形化用户界面、按照算子类型在功能算子库中选择的实现算子，其中，所述算子类型包括：数据读取类算子、数据转换类算子、数据输出类算子。

第二方面，本发明实施例提供了一种数据处理方法，所述方法包括：

确定用于对待处理数据进行处理的数据处理方式，作为目标数据处理方式，其中，所述数据处理方式是通过生成用于描述所述数据处理方式的有向图的方式生成的，所述有向图中：以所述数据处理方式包括的数据处理功能对应的实现算子为节点、每一实现算子的配置信息为实现算子所对应节点的属性、且两个节点间的有向连线的方向与所述两个节点所对应实现算子间的数据流向一致，所述实现算子为：预先对用于实现各种数据处理功能的算子进行封装得到的图形化算子；

获得用于描述所述目标数据处理方式的目标有向图；

解析所述目标有向图，得到所述目标有向图中各个节点对应的目标实现算子、各个目标实现算子的配置信息、各个目标实现算子之间的数据流向；