[发明专利]配置驱动的轻量级批量数据处理方法及装置

权利要求书

1.一种配置驱动的轻量级批量数据处理方法，其特征在于，包括：

输入作业配置文件名和业务日期；

初始化环境变量；

基于所述作业配置文件名，获取已配置的作业配置文件，逐步骤进行处理；其中，所述作业配置文件中配置有完成一个任务所需的具有先后顺序的步骤信息；

基于每一步骤信息查找相应的已定义的处理器和已配置的步骤配置文件；其中，所述已定义的处理器用于执行对应的步骤，所述步骤配置文件中配置有每一步骤的运行参数；

基于已配置的步骤配置文件，将对应的步骤的运行参数注入到已定义的处理器中；

基于业务日期获取相应的业务数据；

基于所述业务数据运行已定义的处理器，直到所有步骤均已经处理完成。

2.如权利要求1所述的配置驱动的轻量级批量数据处理方法，其特征在于，初始化环境变量，包括：

设置数据文件的保存路径；

设置配置驱动的轻量级批量数据处理程序运行日期。

3.如权利要求1所述的配置驱动的轻量级批量数据处理方法，其特征在于，基于所述作业配置文件名，获取已配置的作业配置文件，逐步骤进行处理，包括：

基于所述作业配置文件名，获取已配置的作业配置文件，判断是否存在下一个步骤，若存在，则从已配置的作业配置文件中获取第一个步骤信息，若不存在，则结束；

基于每一步骤信息查找相应的已定义的处理器和已配置的步骤配置文件，包括：

基于第一个步骤信息查找相应的已定义的处理器和已配置的步骤配置文件；

基于已配置的步骤配置文件，将对应的步骤的运行参数注入到已定义的处理器中，包括：

基于第一个步骤对应的已配置的步骤配置文件，将第一个步骤的运行参数注入到已定义的处理器中；

基于所述业务数据运行已定义的处理器，直到所有步骤均已经处理完成，包括：

基于所述业务数据运行已定义的处理器，完成第一个步骤处理，重新回到下一个步骤的判断，直到所有步骤均已经处理完成。

4.如权利要求1所述的配置驱动的轻量级批量数据处理方法，其特征在于，基于已配置的步骤配置文件，将对应的步骤的运行参数注入到已定义的处理器中，包括：

对已配置的步骤配置文件进行解析，获得对应的步骤的运行参数；

将对应的步骤的运行参数注入到已定义的处理器中。

5.如权利要求2所述的配置驱动的轻量级批量数据处理方法，其特征在于，还包括：

基于所述业务数据运行已定义的处理器后，获得运行结果数据，将所述运行结果数据按照设置的数据文件的保存路径进行保存。

6.如权利要求2所述的配置驱动的轻量级批量数据处理方法，其特征在于，还包括：

基于所述业务数据运行已定义的处理器后，获得程序运行日志，将所述程序运行日志按照设置的数据文件的保存路径进行保存。

7.如权利要求1所述的配置驱动的轻量级批量数据处理方法，其特征在于，所述作业配置文件和步骤配置文件的内容以excel形式存储。

8.如权利要求7所述的配置驱动的轻量级批量数据处理方法，其特征在于，所述作业配置文件中的步骤信息包括是否生效信息、步骤ID、步骤分类信息、配置文件信息、配置页面信息、配置ID、步骤描述信息和备注信息；

其中，是否生效信息表明该步骤是否执行；步骤分类信息表明该步骤对应的指定处理器；配置文件信息表明该步骤对应的已配置的步骤配置文件名；配置页面信息表明该步骤对应的已配置的步骤配置文件中excel页面名称。

9.如权利要求1所述的配置驱动的轻量级批量数据处理方法，其特征在于，所述作业配置文件中的步骤信息以行为单位进行存储，每行代表一条步骤记录，每条步骤记录都是一个json字符串；

获取已配置的作业配置文件，逐步骤进行处理，包括：

获取已配置的作业配置文件，从所述作业配置文件中逐行读取步骤进行处理。