[发明专利]一种数据处理的方法、装置、设备及介质

说明书

本申请涉及数据处理技术领域，具体涉及一种数据处理的方法、装置、设备及介质。该方法包括：获取数据源发送的目标处理数据；若确定所述目标处理数据是待处理数据的部分数据，将所述目标处理数据确定为第一处理数据，将所述第一处理数据储存至源系统数据集合；确定所述第一处理数据的目标操作；利用所述目标操作对所述第一处理数据进行处理，得到中间数据；将所述中间数据作为待处理数据储存至所述源系统数据集合；返回执行所述获取数据源发送到目标处理数据以及后续步骤，直到满足预设条件为止。如此利用中间数据进行数据处理，提升了批量系统数据加工的效率。

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据处理的方法、装置、设备及介质。

背景技术

在对批量系统进行数据加工时，通常需要将所有的源系统关联，待所有源系统的数据加载完毕再进行数据加工。

但受到各种因素的影响，实际上数据加工的效率并不高。

发明内容

本申请提供一种数据处理的方法、装置、设备及介质，能够提高批量系统数据加工的效率。

第一方面，本申请提供一种数据处理的方法，该方法包括：

获取数据源发送的目标处理数据；

若确定所述目标处理数据是待处理数据的部分数据，将所述目标处理数据确定为第一处理数据，将所述第一处理数据储存至源系统数据集合；

确定所述第一处理数据的目标操作；

利用所述目标操作对所述第一处理数据进行处理，得到中间数据；

将所述中间数据作为待处理数据储存至所述源系统数据集合；

返回执行所述获取数据源发送到目标处理数据以及后续步骤，直到满足预设条件为止。

可选地，所述确定所述第一处理数据的目标操作，包括：

确定所述第一处理数据的所属的数据源；

将所述数据源对应的单独数据源的数据操作作为目标操作。

可选地，所述单独数据源的数据操作是预先设置的；

或者，

所述单独数据源的数据操作是对完整数据处理操作拆分得到的。

可选地，所述方法还包括：

若确定目标处理数据是待处理数据的全部数据，将所述目标处理数据确定为第二处理数据；

采用完整数据处理操作对所述第二处理数据进行处理。

可选地，所述预设条件包括完成数据处理，和确定发送所述待处理数据的数据源故障中的一种或多种。

第二方面，本申请提供一种数据处理的装置，该装置包括：

获取单元，用于获取数据源发送的目标处理数据；

第一储存单元，用于若确定所述目标处理数据是待处理数据的部分数据，将所述目标处理数据确定为第一处理数据，将所述第一处理数据储存至源系统数据集合；

确定单元，用于确定所述第一处理数据的目标操作；

第一处理单元，用于利用所述目标操作对所述第一处理数据进行处理，得到中间数据；

第二储存单元，用于将所述中间数据作为待处理数据储存至所述源系统数据集合；

执行单元，用于返回执行所述获取数据源发送到目标处理数据以及后续步骤，直到满足预设条件为止。