[发明专利]数据处理的方法、装置以及电子设备

说明书

本申请提供了一种数据处理的方法、装置以及电子设备，涉及计算机技术领域。该方法包括：接收可视化模块发送的预设插件的存储路径信息；存储路径信息是由可视化模块检测到数据源变更指令后确定的；预设插件是基于用于进行数据处理的业务逻辑片段的配置文件生成的；基于存储路径信息加载预设插件，并确定预设插件所对应的目标数据源；确定目标数据源对应的数据获取逻辑，通过数据获取逻辑从目标数据源中获取数据；基于加载的预设插件，对数据进行处理。本申请可以适用于多种数据源，可以基于目标数据源对应的数据获取逻辑获取目标数据源中的数据，并基于目标数据源对应的预设插件处理获取的数据。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理的方法、装置以及电子设备。

背景技术

随着互联网技术的发展，常常通过Spark进行数据的处理，Spark是一种分布式计算框架，可以对多种数据源中的数据进行处理，当数据源发生切换时，Spark处理数据的方式也需要进行相应的调整。

目前，Spark可以针对多种数据源分别设置对应的流数据处理程序，一旦数据源切换，就可以切换至对应的流数据处理程序，目前这种方式，切换到新的流数据处理程序后，需要重新配置流数据处理程序中的配置文件以及重启流数据处理程序，加大了开发的工作量，降低了数据处理的效率。

发明内容

本申请的第一方面提供了一种数据处理的方法，包括：

接收可视化模块发送的预设插件的存储路径信息；存储路径信息是由可视化模块检测到数据源变更指令后确定的；预设插件是基于用于进行数据处理的业务逻辑片段的配置文件生成的；

基于存储路径信息加载预设插件，并确定预设插件所对应的目标数据源；

确定目标数据源对应的数据获取逻辑，通过数据获取逻辑从目标数据源中获取数据；

基于加载的预设插件，对数据进行处理。

可选的，预设插件的个数为至少两个，方法还包括：

接收可视化模块发送的至少两个预设插件的顺序标识；

则基于加载的预设插件，对数据进行处理，包括：

基于至少两个预设插件的顺序标识确定至少两个预设插件串行处理数据的顺序；

根据至少两个预设插件串行处理数据的顺序，通过至少两个预设插件，对数据进行串行处理。

可选的，基于至少两个预设插件串行处理数据的顺序，通过至少两个预设插件，对数据进行串行处理，包括：

确定各插件的接口信息；接口信息包括数据入口信息以及数据出口信息；

基于至少两个预设插件串行处理数据的顺序以及接口信息，通过至少两个预设插件，对数据进行串行处理。

可选的，基于加载的预设插件，对数据进行处理，包括：

基于至少两个预设插件，对数据进行串行处理和/或并行处理。

可选的，确定预设插件所对应的目标数据源，包括：

确定预设插件所对应的数据源指示信息；

基于数据源指示信息，确定目标数据源。

可选的，确定目标数据源对应的数据获取逻辑，包括：

获取数据源与数据获取逻辑的对应关系；每一数据获取逻辑对应至少一个数据源；

基于对应关系，确定目标数据源对应的数据获取逻辑。

可选的，基于加载的预设插件，对数据进行处理，包括：

当处理至数据中的错误数据时，记录错误数据的数据标识；