[发明专利]数据处理方法、装置、设备及存储介质

说明书

本发明实施例公开了一种数据处理方法、装置、系统及设备，其中，方法包括：确定在主设备上记录的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；根据所述历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据；确定所述增量数据对应的新检查点标识；根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备，所述触发指令用于触发所述主设备将所述历史检查点标识更新为所述新检查点标识，可便捷地读取到增量数据。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

读取-转换-加载(Extract-Transform-Load，ETL)是将源数据系统的数据经过读取、清洗转换之后加载到数据仓库的过程，目的是将分散、零乱、标准不统一的源数据整合到一起，以便后续分析和使用。由于读取数据的效率直接关系到ETL作业过程的性能，因此数据读取是ETL作业过程中非常重要的环节，通常通过获取源数据系统中的增量数据来提高读取数据的效率，但是实践中，需要读取当前源数据系统中的全量数据，并将当前读取的全量数据与上次读取的全量数据进行比对，才能获取到增量数据。可见，该读取数据的方法繁琐、效率较低。

发明内容

本发明实施例所要解决的技术问题在于，提供一种数据处理方法、装置、设备及存储介质，可便捷地读取到增量数据。

一方面，本发明实施例提供一种数据处理方法，该方法包括：

确定在主设备上记录的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

根据所述历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据；

根据所述增量数据生成与所述增量数据对应的新检查点标识；

根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备，所述触发指令用于触发所述主设备将所述历史检查点标识更新为所述新检查点标识。

一方面，本发明实施例提供一种数据处理方法，该方法包括：

当检测到数据处理操作时，根据本次数据处理操作的类型从管理器中获取历史检查点标识，其中，所述管理器中包括多种类型的数据处理操作，及每种类型的数据处理操作对应的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围；

根据所述历史检查点标识生成操作指令，将所述操作指令发送至从设备，触发所述从设备根据所述操作指令执行所述本次数据处理操作；

接收所述从设备发送的触发指令，所述触发指令包括所述从设备执行本次数据处理操作所获取的增量数据的新检查点标识；

将所述管理器中的所述历史检查点标识更新为所述新检查点标识。

一方面，本发明实施例提供一种数据处理装置，该装置包括：

确定模块，用于确定在主设备上记录的历史检查点标识，所述历史检查点标识用于指示上次数据处理操作所获取的数据的范围。

查询模块，用于根据所述历史检查点标识生成查询条件，根据所述查询条件查询并获取本次数据处理操作的增量数据。

确定模块，用于根据所述增量数据生成与所述增量数据对应的新检查点标识。

发送模块，用于根据所述新检查点标识生成触发指令，将所述触发指令发送至所述主设备，所述触发指令用于触发所述主设备将所述历史检查点标识更新为所述新检查点标识。

一方面，本发明实施例提供一种数据处理装置，该装置包括：