[发明专利]数据源处理方法、装置、电子设备及存储介质

说明书

本申请实施例提供了一种数据源处理方法、装置、电子设备及存储介质，其中，该数据源处理方法包括以下步骤：接入多个数据源，并给每一所述数据源设置一个标识信息，所述标识信息包括数据源名称以及其规则标识；获取规则变更信息，所述规则变更信息携带有待变更规则的数据源的数据源名称以及变更后的目标规则的目标规则标识；根据所述规则变更信息将所述标识信息将对应的数据源的规则修改为所述目标规则；根据所述目标规则对所述数据源进行处理以输出目标数据；从而实现对数据源的数据处理，可以提高数据源的规则更新的实时度。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据源处理方法、装置、电子设备及存储介质。

背景技术

随着大数据相关技术的深入发展，大型企业的数据源多种多样，在使用大数据技术来支持公司业务的过程中必然需要将数据经过采集、标准化、入库。在对数据源的处理上，不同的数据源由于可能具有不同的规则，也即是处理逻辑不相同，因此，采取的处理方式也不尽相同。对不同的数据源进行处理时，需要将不同的数据源经过预处理成某种特定的约定格式，然后进行统一处理。然而，在涉及数据源规则变更并基于变更后的规则来提取目标数据时，现有技术无法做到实时更新，或者快速更新。

针对上述问题，目前尚未有有效的技术解决方案。

发明内容

本申请实施例的目的在于提供一种数据源处理方法、装置、电子设备及存储介质，可以提高数据源规则的更新实时度。

第一方面，本申请实施例提供了一种数据源处理方法，包括：

接入多个数据源，并给每一所述数据源设置一个标识信息，所述标识信息包括数据源名称以及其规则标识；

获取规则变更信息，所述规则变更信息携带有待变更规则的数据源的数据源名称以及变更后的目标规则的目标规则标识；

根据所述规则变更信息将所述标识信息将对应的数据源的规则修改为所述目标规则；

根据所述目标规则对所述数据源进行处理以输出目标数据。

在本申请实施例中，通过将数据源的数据源名称以及规则标识进行关联，使得在对数据源进行规则变更时，可以直接基于数据源名称及规则标识来实现对数据源的规则进行快速更改，可以提高数据源规则的更新实时度。

可选地，在本申请实施例所述的数据源处理方法中，所述根据所述目标规则对所述数据源进行处理以输出目标数据的步骤包括：

对所述数据源进行解析以获取所述数据源的数据结构；

根据所述目标规则以及所述数据结构获取所述数据源中多个待处理数据的位置信息；

根据所述位置信息调用所述待处理数据，并根据所述目标规则对所述待处理数据进行处理以得到目标数据。

本申请实施例通过对数据源进行解析，从而获取到数据源的数据结构，并基于该数据结构以及目标规则来快速进行数据处理，可以提高数据处理的效率。

可选地，在本申请实施例所述的数据源处理方法中，所述根据所述位置信息调用所述待处理数据，并根据所述目标规则对所述待处理数据进行处理以得到目标数据的步骤包括：

根据所述目标规则获取多个处理逻辑；

根据每一所述处理逻辑以及所述位置信息调用对应的多个待处理数据；

根据每一所述处理逻辑以及对应的待处理数据计算得到目标数据。

本申请实施例通过对目标规则进行分解成多个处理逻辑，并基于各个处理逻辑进行快速数据处理，可以实现具有多种处理逻辑的目标规则的数据处理。

可选地，在本申请实施例所述的数据源处理方法中，所述方法还包括以下步骤：