[发明专利]数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取携带有数据标识的待处理数据；根据所述数据标识查询与所述待处理数据对应的数据处理任务；在数据处理平台中部署的数据处理应用中，确定与所述数据处理任务对应的数据处理应用；根据所述数据处理应用对所述待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；将所述数据处理结果对应于所述数据处理任务存储。本方法根据数据标识确定与待处理数据对应的数据处理任务，通过数据处理平台中部署的且与数据处理任务对应的数据处理应用，对待处理数据进行处理，提高了数据处理效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，出现了大数据处理技术。同时，随着物联网技术的发展，出现了海量的待处理数据。通常，用户使用以Hadoop(海杜普)为代表的技术来处理和存储大数据。

然而，传统的以Hadoop为代表的大数据处理技术，需要分别针对不同场景搭建不同的数据处理平台，数据处理平台所需的各种数据处理应用需要分别进行安装和维护；而且以Hadoop为代表的大数据处理技术通常是开源的，在使用时需要用户输入命令来进行操作，数据处理效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的数据处理方法、装置、计算机设备和存储介质。

一种数据处理方法，所述方法包括：

获取携带有数据标识的待处理数据；

根据所述数据标识查询与所述待处理数据对应的数据处理任务；

在数据处理平台中部署的数据处理应用中，确定与所述数据处理任务对应的数据处理应用；

根据所述数据处理应用对所述待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；

将所述数据处理结果对应于所述数据处理任务存储。

在其中一个实施例中，获取携带有数据标识的待处理数据之前，还包括：

获取终端发送的任务创建请求；

根据所述任务创建请求指示所述终端展示任务创建页面；

获取在所述任务创建页面中添加的任务配置信息；

根据获取的任务配置信息创建数据处理任务。

在其中一个实施例中，获取携带有数据标识的待处理数据包括：

监听触发的数据获取指令；

当监听到触发的数据获取指令时，获取所述数据获取指令中的数据库地址和数据标识；

从所述数据库地址对应的数据库中，提取与所述数据标识对应的待处理数据。

在其中一个实施例中，根据所述数据处理应用对所述待处理数据进行处理，得到所述数据处理任务对应的数据处理结果包括：

根据所述数据处理任务确定所述待处理数据的数据类型；

当确定所述待处理数据的数据类型为实时数据类型时，将所述待处理数据加载到数据仓库和消息队列中的至少一种，根据所述数据处理应用对所述数据仓库或消息队列中的待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；

当确定所述待处理数据的数据类型为非实时数据类型时，将所述待处理数据加载到数据仓库中，根据所述数据处理应用对所述数据仓库中的待处理数据进行处理，得到所述数据处理任务对应的数据处理结果。

在其中一个实施例中，将所述数据处理结果对应于所述数据处理任务存储之后，还包括：