[发明专利]数据处理方法、ETL系统、服务器及存储介质

说明书

本申请提出一种数据处理方法、ETL系统、服务器及存储介质，涉及数据处理技术领域，ETL系统针对从源端设备提取的多个目标数据，通过创建并保存每一个目标数据各自对应的数据操作信息，从而在将每一个目标数据进行转换处理，并将每一个转换后的目标数据加载至目的端设备后，ETL系统针对被成功加载至目的端设备转换后的目标数据，将该目标数据对应的数据操作信息删除，使得当ETL系统重新启动，ETL系统可以根据剩余保存的数据操作信息，将该保存的数据操作信息所对应的目标数据重新整合加载，而无需对该批次的所有数据重新整合加载；也不会丢弃该批次的部分数据，造成目的端设备数据丢失，从而提高了数据处理的精确度。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据处理方法、ETL系统、服务器及存储介质。

背景技术

ETL（Extract-Transform-Load，数据仓库）技术能够将业务系统的数据从源端设备经过抽取、转换之后加载到目的端设备，从而将一些分散、零乱以及标准不统一的数据进行整合。

其中，当ETL运行不稳定，ETL可以重新启动，并在上一次数据处理的基础上，继续进行数据处理，以实现数据连续的整合。

然而，当ETL在重新启动后，可能对一些数据重复处理或者是丢失部分数据，导致数据处理精确度较低。

发明内容

本申请的目的在于提供一种数据处理方法、ETL系统、服务器及存储介质，能够避免重复对已加载成功的数据重新加载，也不会丢弃数据，提高了数据处理的精确度。

为了实现上述目的，本申请采用的技术方案如下：

第一方面，本申请提供一种数据处理方法，应用于运行ETL系统的服务器，所述ETL系统用于将数据从源端设备加载至目的端设备；所述方法包括：

针对从所述源端设备提取的多个目标数据，创建并保存每一个所述目标数据各自对应的数据操作信息；

将每一个所述目标数据进行转换处理，并将每一个转换后的目标数据加载至所述目的端设备；

针对被成功加载至所述目的端设备的转换后的目标数据，将该目标数据对应的数据操作信息删除。

第二方面，本申请提供一种ETL系统，所述ETL系统用于将数据从源端设备加载至目的端设备；其中：

所述ETL系统具体用于，针对从所述源端设备提取的多个目标数据，创建并保存每一个所述目标数据各自对应的数据操作信息；

所述ETL系统还用于，将每一个所述目标数据进行转换处理，并将每一个转换后的目标数据加载至所述目的端设备；

所述ETL系统还用于，针对被成功加载至所述目的端设备的转换后的目标数据，将该目标数据对应的数据操作信息删除。

第三方面，本申请提供一种服务器，所述服务器包括存储器，用于存储一个或多个程序；处理器；当所述一个或多个程序被所述处理器执行时，实现上述的数据处理方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的数据处理方法。

本申请提供的一种数据处理方法、ETL系统、服务器及存储介质，ETL系统针对从源端设备提取的多个目标数据，通过创建并保存每一个目标数据各自对应的数据操作信息，从而在将每一个目标数据进行转换处理，并将每一个转换后的目标数据加载至目的端设备后，ETL系统针对被成功加载至目的端设备转换后的目标数据，将该目标数据对应的数据操作信息删除，使得当ETL系统重新启动，ETL系统可以根据剩余保存的数据操作信息，将该保存的数据操作信息所对应的目标数据重新整合加载，而无需对该批次的所有数据重新整合加载，避免重复对已加载成功的数据重新加载；也不会丢弃该批次的部分数据，造成目的端设备数据丢失，从而提高了数据处理的精确度。