[发明专利]数据处理的方法、装置以及电子设备

权利要求书

1.一种数据处理的方法，其特征在于，包括：

接收可视化模块发送的预设插件的存储路径信息；所述存储路径信息是由所述可视化模块检测到数据源变更指令后确定的；所述预设插件是基于用于进行数据处理的业务逻辑片段的配置文件生成的；

基于所述存储路径信息加载所述预设插件，并确定所述预设插件所对应的目标数据源；

确定所述目标数据源对应的数据获取逻辑，通过所述数据获取逻辑从所述目标数据源中获取数据；

基于所述加载的预设插件，对所述数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述预设插件的个数为至少两个，所述方法还包括：

接收所述可视化模块发送的至少两个预设插件的顺序标识；

则所述基于所述加载的预设插件，对所述数据进行处理，包括：

基于所述至少两个预设插件的顺序标识确定所述至少两个预设插件串行处理数据的顺序；

根据所述至少两个预设插件串行处理数据的顺序，通过所述至少两个预设插件，对所述数据进行串行处理。

3.根据权利要求2所述的方法，其特征在于，所述基于所述至少两个预设插件串行处理数据的顺序，通过所述至少两个预设插件，对所述数据进行串行处理，包括：

确定各插件的接口信息；所述接口信息包括数据入口信息以及数据出口信息；

基于所述至少两个预设插件串行处理数据的顺序以及所述接口信息，通过所述至少两个预设插件，对所述数据进行串行处理。

4.根据权利根据权利要求1所述的方法，其特征在于，所述基于所述加载的预设插件，对所述数据进行处理，包括：

基于至少两个预设插件，对所述数据进行串行处理和/或并行处理。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述确定所述预设插件所对应的所述目标数据源，包括：

确定所述预设插件所对应的数据源指示信息；

基于所述数据源指示信息，确定所述目标数据源。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述确定所述目标数据源对应的数据获取逻辑，包括：

获取数据源与数据获取逻辑的对应关系；每一数据获取逻辑对应至少一个数据源；

基于所述对应关系，确定所述目标数据源对应的数据获取逻辑。

7.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于所述加载的预设插件，对所述数据进行处理，包括：

当处理至所述数据中的错误数据时，记录错误数据的数据标识；

基于所述数据标识，对所述错误数据进行中断处理，并处理所述数据中不同于所述错误数据的其他数据；或者，基于所述数据标识，确定所述错误数据的下一数据，停止处理所述错误数据并处理所述下一数据。

8.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于所述加载的预设插件，对所述数据进行处理，包括：

确定所述预设插件对应的开发模式；

若所述开发模式为第一类开发模式，则将所述目标数据源中的数据解析为元数据格式的数据，将所述元数据格式的数据转化为抽象弹性分布式数据集，基于所述加载的预设插件，对所述抽象弹性分布式数据集进行处理；

若所述开发模式为第二类开发模式，则将所述目标数据源中的数据解析为元数据格式的数据，将所述元数据格式的数据转化为分布式数据集，基于所述加载的预设插件，对所述分布式数据集进行处理。