[发明专利]基于Spark的Kafka消费并发处理方法及装置

说明书

本发明提供了一种基于Spark的Kafka消费并发处理方法及装置，该方法包括：对Kafka的每个Topic分区进行切片，获得每个Topic分区的多个切片；确定每个Topic分区的每个切片对应的Spark任务，其中，每个切片对应的Spark任务用于消费该切片中的数据；并行执行每个Topic分区的多个切片对应的多个Spark任务。本发明可以实现并发消费Kafka数据，效率高。

技术领域

本发明涉及互联网领域，尤其涉及一种基于Spark的Kafka消费并发处理方法及装置。

背景技术

在现有的Kafka消费模型中，一个Kafka的Topic分区只能有一个消费者，图1为现有技术Kafka消费示意图，如图1所示，Kafka的某一Topic有4个分区(或称为4个Topic分区)，如果给Spark分配了5个CPU Core(分别为core1、core2、core3、core4和core5)，而Spark将启动与Kafka的Topic分区数相同的任务数，即最多同时执行4个Spark任务(task)，每个CPU Core对应一个spark的task，则会剩余一个CPU Core不会消费任何数据。因此，现有的Kafka消费模型存在以下几个问题：第一，Spark的最大任务数与Kafka的Topic分区数相同，Kafka的每个Topic分区只能对应一个Spark任务，一个Topic分区的数据不能并发消费，剩余的Spark资源(CPU Core)不会消费Kafka数据，也不会释放，因此，消费Kafka数据的效率低且资源浪费；第二，增加Kafka分区数可以提高消费Kafka数据的并发度，但是增加分区数的操作非常困难，且不能无限增加，过多的Kafka分区会影响Kafka的容错能力，从异常中恢复的时间也会明显增加，同样效率不高。

发明内容

本发明实施例提出一种基于Spark的Kafka消费并发处理方法，用以实现并发消费Kafka数据，效率高，该方法包括：

对Kafka的每个Topic分区进行切片，获得每个Topic分区的多个切片；

确定每个Topic分区的每个切片对应的Spark任务，其中，每个切片对应的Spark任务用于消费该切片中的数据；

并行执行每个Topic分区的多个切片对应的多个Spark任务。

本发明实施例提出一种基于Spark的Kafka消费并发处理装置，用以实现并发消费Kafka数据，效率高，该装置包括：

切片模块，用于对Kafka的每个Topic分区进行切片，获得每个Topic分区的多个切片；

任务映射模块，用于确定每个Topic分区的每个切片对应的Spark任务，其中，每个切片对应的Spark任务用于消费该切片中的数据；

执行模块，用于并行执行每个Topic分区的多个切片对应的多个Spark任务。

本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于Spark的Kafka消费并发处理方法。

本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于Spark的Kafka消费并发处理方法的计算机程序。

在本发明实施例中，对Kafka的每个Topic分区进行切片，获得每个Topic分区的多个切片；确定每个Topic分区的每个切片对应的Spark任务，其中，每个切片对应的Spark任务用于消费该切片中的数据；并行执行每个Topic分区的多个切片对应的多个Spark任务。在上述过程中，对Kafka的每个Topic分区进行切片，获得每个Topic分区的多个切片，因此可以并行执行每个Topic分区的多个切片对应的多个Spark任务，即每个Topic分区的数据可以并发消费，从而提高了消费Kafka数据的并发度，即提高了消费Kafka数据的效率。