[发明专利]一种异构流数据处理方法及装置

说明书

本申请公开了一种异构流数据处理方法及装置，涉及数据处理技术领域，用以实现异构流数据的标准化，并且节约成本，提高工作效率。本申请提供的异构流数据处理方法包括：获取待处理的实时流数据；当预先设置的标准化配置文件中存在与所述实时流数据匹配的标准化配置时，利用与所述实时流数据匹配的标准化配置，对所述实时流数据进行处理。本申请实现了异构流数据的标准化转换处理，并且，当需要变更对流数据的标准化处理方法时，只需更新标准化配置文件即可，无需修改数据处理的底层代码，进而节约了成本，数据处理系统运维也比较简单，提高了工作效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种异构流数据处理方法及装置。

背景技术

在大数据开发方面，不管是批量还是实时流处理，通常都会遇到要将多类异构流数据转换为一类目标数据或者少数几类目标数据，然后再进行进一步处理的情况，但是，每类数据都需要一个脚本或者程序来处理才能转化为目标数据，并且每个程序或者脚本都需单独的调度和管理，特别是随着时间的前进，接入的数据类型越来越多，每类数据开发人员又不一样，就会导致后面的运维越来越困难。

现有技术在将多类异构流数据转换到目标数据时，针对每类数据都有单独的脚本或者程序，而且每次只能转换成一类数据，这种方式对于具有几十甚至几百类数据需要转化时，会有比较高的开发和维护成本，因为每类数据都需要单独去开发脚本或者程序，导致维护成本较高，如果需要修改数据转换规则，则需要重新开发代码。

发明内容

本申请实施例提供了一种异构流数据处理方法及装置，用以利用预设的标准化配置文件，实现异构流数据的标准化转换，节约成本，提高工作效率。

本申请实施例提供的一种异构流数据处理方法，包括：

获取待处理的实时流数据；

当预先设置的标准化配置文件中存在与所述实时流数据匹配的标准化配置时，利用与所述实时流数据匹配的标准化配置，对所述实时流数据进行处理。

本申请实施例，通过获取待处理的实时流数据，当预先设置的标准化配置文件中存在与所述实时流数据匹配的标准化配置时，利用与所述实时流数据匹配的标准化配置，对所述实时流数据进行处理，从而实现了异构流数据的标准化转换处理，并且，当需要变更对流数据的标准化处理方法时，只需更新标准化配置文件即可，无需修改数据处理的底层代码，进而节约了成本，数据处理系统运维也比较简单，提高了工作效率。

可选地，获取待处理的实时流数据之前，该方法还包括：从预先设置的标准化配置文件中加载标准化配置到Spark广播变量中。

可选地，通过如下方式确定与所述实时流数据匹配的标准化配置：

对于所述Spark广播变量中的每一条标准化配置，判断该标准化配置是否与所述实时流数据匹配。

可选地，对于所述Spark广播变量中的每一条标准化配置，判断该标准化配置是否与所述实时流数据匹配，具体包括：

对于所述每一条标准化配置，当所述实时流数据中存在该标准化配置中的字段，并且字段的取值相同时，确定该标准化配置与所述实时流数据匹配。

可选地，该方法还包括：

监控所述标准化配置是否需要更新，当需要更新时，将标准化配置文件中的标准化配置更新到所述Spark广播变量中。

可选地，每一条标准化配置中包括：用于过滤掉无用数据的过滤条件、所有过滤条件的组合方式、数据处理方式，以及目标流数据的写入对象；所述目标流数据为对所述实时流数据进行处理后得到的数据。

可选地，利用与所述实时流数据匹配的标准化配置，对所述实时流数据进行处理，具体包括：