[发明专利]一种异构流数据处理方法及装置

权利要求书

1.一种异构流数据处理方法，其特征在于，该方法包括：

获取待处理的实时流数据；

当预先设置的标准化配置文件中存在与所述实时流数据匹配的标准化配置时，利用与所述实时流数据匹配的标准化配置，对所述实时流数据进行处理。

2.根据权利要求1所述的方法，其特征在于，获取待处理的实时流数据之前，该方法还包括：从预先设置的标准化配置文件中加载标准化配置到Spark广播变量中。

3.根据权利要求2所述的方法，其特征在于，通过如下方式确定与所述实时流数据匹配的标准化配置：

对于所述Spark广播变量中的每一条标准化配置，判断该标准化配置是否与所述实时流数据匹配。

4.根据权利要求3所述的方法，其特征在于，对于所述Spark广播变量中的每一条标准化配置，判断该标准化配置是否与所述实时流数据匹配，具体包括：

对于所述每一条标准化配置，当所述实时流数据中存在该标准化配置中的字段，并且字段的取值相同时，确定该标准化配置与所述实时流数据匹配。

5.根据权利要求2所述的方法，其特征在于，该方法还包括：

监控所述标准化配置是否需要更新，当需要更新时，将标准化配置文件中的标准化配置更新到所述Spark广播变量中。

6.根据权利要求1所述的方法，其特征在于，每一条标准化配置中包括：用于过滤掉无用数据的过滤条件、所有过滤条件的组合方式、数据处理方式，以及目标流数据的写入对象；所述目标流数据为对所述实时流数据进行处理后得到的数据。

7.根据权利要求6所述的方法，其特征在于，利用与所述实时流数据匹配的标准化配置，对所述实时流数据进行处理，具体包括：

对于与所述实时流数据匹配的每一条标准化配置，分别判断所述实时流数据是否满足该条标准化配置中的每一过滤条件，得到每一过滤条件对应的判断结果，并根据所述组合方式组合所述判断结果，得到组合结果；

当所述组合结果满足预设条件时，按照所述数据处理方式对所述实时流数据进行处理。

8.根据权利要求2所述的方法，其特征在于，从预先设置的标准化配置文件中加载标准化配置到Spark广播变量中，具体包括：

从预先设置的标准化配置文件中，逐行读取标准化配置；

对每一行标准化配置，将该行标准化配置由JSON字符串转换为JSON对象，利用所述JSON对象中的如下字段之一或组合构建Spark广播变量：

用于识别实时流数据是否与该行标准化配置相匹配的第一字段；

用于表示对所述类型的实时流数据的过滤条件的第二字段；

用于表示所述第二字段中所有过滤条件的组合方式的第三字段；

用于表示数据处理方式的第四字段；

用于表示目标流数据的写入对象的第五字段。

9.一种异构流数据处理装置，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至8任一项所述的方法。

10.一种用于计算机的计算机程序产品，包括：软件代码部分，当所述产品在所述计算机上运行时，所述软件代码部分用于执行根据权利要求1至8任一项所述的方法。

11.根据权利要求10的计算机程序产品，其中，

所述计算机程序产品包括在其上存储有所述软件代码部分的计算机可读介质，和/或，

所述计算机程序产品能够通过上传过程、下载过程和推送过程中的至少一个经由网络直接加载到所述计算机的内部存储器中和/或发送。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至8任一项所述的方法。