[发明专利]一种流数据处理方法及装置

说明书

本申请涉及一种流数据处理方法，包括：将多个相同的流数据并行接入计算集群中，多个流数据与计算集群中的多个计算节点组一一对应；对多个流数据中的各流数据分别进行分流处理，得到与流数据相对应的多个子流数据；将与流数据相对应的多个计算过程划分为多个计算过程组，多个计算过程组与多个流数据一一对应；将多个子流数据分别输入到计算节点组中的至少一个计算节点上，以在计算节点上对子流数据执行计算过程组对应的数据处理过程，完成对多个流数据的并行处理。采用本申请实施例，能够降低对流数据进行处理的耗时，从而提高对流数据进行处理的效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种流数据处理方法及装置。

背景技术

目前，对于具有流数据量大、计算过程规模大、计算实时性要求高等特点的流数据处理情景，通常需要采用分布式计算处理的方式对流数据进行处理。

在对流数据进行分布式计算处理的过程中，可以流数据的一个规模较小的计算过程为基础，依次在分布式计算系统中的各个节点上进行计算，且在每一个节点上全量的参与另一个节点的计算。

但是，在流数据量增大、流数据的计算过程规模变大的情况下，上述处理机制的计算耗时会增加，同时分布式计算系统中的节点的数据处理能力可能会无法满足处理需求，从而降低对流数据处理的效率。

因此，需要一种流数据处理方法，以能够降低对流数据进行处理的耗时，从而提高对流数据处理的效率。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种流数据处理方法及装置，以能够降低对流数据进行处理的耗时，从而提高对流数据进行处理的效率。

有鉴于此，第一方面，本发明实施例提供了一种流数据处理方法，包括：

将多个相同的流数据并行接入计算集群中，多个所述流数据与所述计算集群中的多个计算节点组一一对应；

对多个所述流数据中的各所述流数据分别进行分流处理，得到与所述流数据相对应的多个子流数据；

将与所述流数据相对应的多个计算过程划分为多个计算过程组，所述多个计算过程组与多个所述流数据一一对应；

将所述多个子流数据分别输入到所述计算节点组中的至少一个计算节点上，以在计算节点上对子流数据执行计算过程组对应的数据处理过程，完成对多个所述流数据的并行处理。

第二方面，本发明实施例提供了一种流数据处理装置，包括：

接入模块，用于将多个相同的流数据并行接入计算集群中，多个所述流数据与所述计算集群中的多个计算节点组一一对应；

分流模块，用于对多个所述流数据中的各所述流数据分别进行分流处理，得到与所述流数据相对应的多个子流数据；

划分模块，用于将与所述流数据相对应的多个计算过程划分为多个计算过程组，所述多个计算过程组与多个所述流数据一一对应；

处理模块，将所述多个子流数据分别输入到所述计算节点组中的至少一个计算节点上，以在计算节点上对子流数据执行计算过程组对应的数据处理过程，完成对多个所述流数据的并行处理。

第三方面，本发明实施例还提了一种流数据处理装置，包括：

至少一个处理器、存储器、至少一个网络接口和用户接口；

所述至少一个处理器、存储器、至少一个网络接口和用户接口通过总线系统耦合在一起；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面所述方法的步骤。