[发明专利]数据处理的方法、装置、设备、存储介质及程序产品

权利要求书

1.一种数据处理的方法，包括：

响应于数据处理任务的配置信息更改的操作，在配置中心存储更改后的配置信息；

在当前基于任务执行流程执行的所述数据处理任务执行完毕后，从所述配置中心获取所述更改后的配置信息；所述任务执行流程包括执行所述数据处理任务的数据处理过程；

根据所述更改后的配置信息更新所述任务执行流程，并根据更新后的任务执行流程获取并处理与所述数据处理任务对应的待处理数据。

2.根据权利要求1所述的方法，其中，根据所述更改后的配置信息更新所述任务执行流程，包括：

根据更改后的所述配置信息确定变更内容；其中，所述变更内容包括以下任一种信息：

目标数据源信息、数据清洗信息、数据转换信息、数据存储信息；

根据所述变更内容更新所述任务执行流程。

3.根据权利要求2所述的方法，其中，若所述变更内容包括目标数据源信息，则所述根据所述变更内容更新所述任务执行流程，包括：

根据所述目标数据源信息更新所述任务执行流程中的数据获取流程。

4.根据权利要求2所述的方法，其中，若所述变更内容包括数据清洗信息，则所述根据所述变更内容更新所述任务执行流程，包括：

根据所述数据清洗信息更新所述任务执行流程中使用预设函数对目标字段对应的数据进行清洗的数据清洗流程；其中，所述数据清洗信息包括所述预设函数、所述目标字段。

5.根据权利要求2所述的方法，其中，若所述变更内容包括数据转换信息，则所述根据所述变更内容更新所述任务执行流程，包括：

根据所述数据转换信息，更新所述任务执行流程中用于对有效数据进行计算的数据计算流程；所述有效数据是基于所述任务执行流程中的数据清洗流程，对目标字段对应的数据进行清洗后得到的数据。

6.根据权利要求2所述的方法，其中，若所述变更内容包括数据存储信息，则所述根据所述变更内容更新所述任务执行流程，包括：

根据所述数据存储信息，更新所述任务执行流程中的对数据结果进行存储的数据存储流程；其中，所述数据结果为基于所述任务执行流程中的数据计算流程，对基于所述任务执行流程中的数据清洗流程清洗后的有效数据进行处理，得到的结果。

7.根据权利要求1-6任一项所述的方法，其中，所述更新后的任务执行流程包括：数据获取流程、数据清洗流程、数据计算流程、数据存储流程；

所述根据更新后的任务执行流程获取并处理与所述数据处理任务对应的待处理数据，包括：

根据所述数据获取流程，从目标数据源获取待处理数据；

根据所述数据清洗流程对所述待处理数据进行清洗，得到包括与目标字段对应的数据的数据表；其中，所述数据清洗流程为使用预设函数对待处理数据中与目标字段对应的数据进行清洗的流程；

根据所述数据计算流程，对所述数据表中的数据进行计算，得到数据结果；

根据所述数据存储流程将所述数据结果存储到数据库中。

8.根据权利要求7所述的方法，其中，所述根据所述数据获取流程，从目标数据源获取待处理数据，包括：

若所述目标数据源为离线数据源，则监控离线数据源中的文件变更，在所述离线数据源中发生文件变更时，获取变更数据；

若所述目标数据源为实时数据源，则通过中间件拉取所述实时数据源中的实时数据。

9.根据权利要求1-6任一项所述的方法，其中，所述配置信息包括运行参数配置；所述响应于数据处理任务的配置信息更改的操作之前，还包括：

根据所述运行参数配置中的资源信息，启动与所述资源信息相应的资源基于任务执行流程执行的所述数据处理任务。