[发明专利]一种数据处理方法、装置、设备和存储介质

说明书

本发明公开了一种数据处理方法、装置、设备和存储介质，该方法包括：响应于用户触发的拖拽操作，确定数据处理模块，并根据数据处理模块确定数据处理流程；响应于用户触发的配置指令，确定配置参数，基于配置参数配置所述数据处理流程得到数据处理任务；响应于用户触发的处理操作，执行数据处理任务，以使得接入模块基于接入参数获取待处理数据，分流模块和处理模块分别基于分流参数和处理参数对待处理数据进行处理得到处理结果，输出模块基于输出参数输出处理结果。上述技术方案，基于数字孪生技术简化了数据处理任务的构建过程，实现按照配置对数据进行输入、分流、处理和输出，提升了数据处理效率，进一步使得数据处理过程更加符合用户需求。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备和存储介质。

背景技术

ETL(Extract-Transform-Load，抽取、转换、装载)是一种基于数字孪生技术的数据仓库技术，通过ETL任务，可以从数据源抽取出所需的数据，经过数据清洗、相互转换等过程，将数据加载到目的端。

现有技术中，需要开发人员通过分析场景的需求编写脚本，以构建ETL任务，并在ETL中实现数据处理。

但是，脚本的编写往往伴随大量的代码工作，因此，ETL任务的构建需要大量的时间投入，导致数据处理效率较低。

发明内容

本发明提供一种数据处理方法、装置、设备和存储介质，以基于数字孪生技术提升ETL处理数据的效率。

第一方面，本发明实施例提供了一种数据处理方法，包括：

响应于用户触发的拖拽操作，确定数据处理模块，并根据所述数据处理模块确定数据处理流程；其中，所述数据处理模块包括接入模块、分流模块、处理模块和输出模块；

响应于用户触发的配置指令，确定配置参数，其中，所述配置指令包括接入指令、分流指令、处理指令和输出指令，所述配置参数包括接入参数、分流参数、处理参数和输出参数；

基于所述配置参数配置所述数据处理流程得到数据处理任务；

响应于用户触发的处理操作，执行所述数据处理任务，以使得所述接入模块基于所述接入参数获取待处理数据，所述分流模块和所述处理模块分别基于所述分流参数和所述处理参数对所述待处理数据进行处理得到处理结果，所述输出模块基于所述输出参数输出所述处理结果。

本发明实施例的技术方案，提供一种数据处理方法，包括：响应于用户触发的拖拽操作，确定数据处理模块，并根据所述数据处理模块确定数据处理流程；其中，所述数据处理模块包括接入模块、分流模块、处理模块和输出模块；响应于用户触发的配置指令，确定配置参数，其中，所述配置指令包括接入指令、分流指令、处理指令和输出指令，所述配置参数包括接入参数、分流参数、处理参数和输出参数；基于所述配置参数配置所述数据处理流程得到数据处理任务；响应于用户触发的处理操作，执行所述数据处理任务，以使得所述接入模块基于所述接入参数获取待处理数据，所述分流模块和所述处理模块分别基于所述分流参数和所述处理参数对所述待处理数据进行处理得到处理结果，所述输出模块基于所述输出参数输出所述处理结果。上述技术方案，根据用户触发的拖拽操作可以确定并连接各数据处理模块，得到数据处理流程，根据用户触发的配置指令可以确定各数据处理模块对应的配置参数，进而可以基于配置参数分别配置数据处理流程所包含的各数据处理模块，得到数据处理任务，无需编写脚本，实现基于数字孪生技术创建数据处理任务，简化了数据处理任务的构建过程，根据用户触发的处理操作可以执行该数据处理任务，可以实现使得接入模块基于接入参数获取待处理数据，分流模块和处理模块分别基于分流参数和处理参数对待处理数据进行处理得到处理结果，输出模块基于输出参数输出处理结果，实现按照配置对数据进行输入、分流、处理和输出，提升了数据处理效率，进一步使得数据处理过程更加符合用户需求。

进一步地，响应于用户触发的拖拽操作，确定数据处理模块，并根据所述数据处理模块确定数据处理流程，包括：