[发明专利]分布式数据处理方法、装置、电子设备及存储介质

说明书

本发明提供了一种分布式数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域，在进行分布式数据处理时，创建了采用Spark作为分布式计算执行引擎的并行迭代器，并行迭代器包括线程数为计算并行度的计算线程组，当启动并行迭代器时，从输入迭代器中拉取数据至输入缓冲池，由计算线程组通过数据处理函数对输入缓冲池中的数据进行数据处理，将处理结果推入输出缓冲池，并由输出迭代器对输出缓冲池中的处理结果进行输出。如此基于采用Spark作为分布式计算执行引擎的并行迭代器，进行多线程的数据处理，具备较高的计算并行度，同时避免了数据重分区，从而减小了计算开销。

技术领域

本发明涉及计算机技术领域，尤其是涉及一种分布式数据处理方法、装置、电子设备及存储介质。

背景技术

当前对于大数据量的批量数据计算，通常使用mapreduce、Spark等批量计算框架。其中，Spark是一种有效的分布式数据并行计算框架，当单个计算实例每个元素的计算消耗时间与IO(Input/Output，输入/输出)消耗时间差距不太大时，通常会通过增加任务中计算的计算实例数目，来提升计算速度。

在每个计算实例中，Spark使用迭代器模型来对数据进行逐个处理，每个计算实例均有一个输出，而每个输出通常都对应一个IO存储系统。由于传统机械硬盘以及IO接口本身的限制，每种存储系统的最优IO接口量有限，并且各种存储系统通常不会只有一个客户端在使用，因此Spark任务输出时的IO并行度应该控制在一个合理的范围。但是计算时，可使用的计算实例通常与CPU(central processing unit，中央处理器)核数正相关，通常整个Spark计算集群的CPU核数资源会远大于输出设备的IO接口限制，此时便会出现由于IO接口的限制，导致计算节点不能过多。

目前通常的做法是在计算时配置较高的计算节点数，在输出前对所有的结果数据进行重分区(repartition)操作，然后对重分区后的结果数据进行IO操作。然而这种做法存在计算开销大的问题。

发明内容

本发明的目的在于提供一种分布式数据处理方法、装置、电子设备及存储介质，以在具备较高的计算并行度的情况下，避免数据重分区，从而减小计算开销。

第一方面，本发明实施例提供了一种分布式数据处理方法，包括：

获取输入迭代器和数据处理参数；其中，所述输入迭代器为弹性分布式数据集RDD的每个分区对应的迭代器，所述输入迭代器中存储有所述RDD的相应分区中的待处理数据，所述数据处理参数包括数据处理函数和计算并行度；

创建采用Spark作为分布式计算执行引擎的并行迭代器，所述并行迭代器包括输出迭代器和线程数为所述计算并行度的计算线程组，所述输入迭代器为所述并行迭代器的输入，所述计算线程组用于通过所述数据处理函数消费所述输入迭代器中的数据；

当启动所述并行迭代器时，从所述输入迭代器中拉取数据至输入缓冲池，由所述计算线程组通过所述数据处理函数对所述输入缓冲池中的数据进行数据处理，将处理结果推入输出缓冲池，并由所述输出迭代器对所述输出缓冲池中的处理结果进行输出。

进一步地，所述数据处理参数还包括是否保证有序；所述从所述输入迭代器中拉取数据至输入缓冲池的步骤，包括：

当所述是否保证有序为是时，从所述输入迭代器中拉取数据，对拉取出的每条数据进行顺序标记，并将带有顺序标记的数据输出至输入缓冲池。

进一步地，所述由所述输出迭代器对所述输出缓冲池中的处理结果进行输出的步骤，包括：

当所述输出缓冲池中的处理结果带有顺序标记时，按照所述顺序标记从所述输出缓冲池的处理结果中拉取结果数据并输出。

进一步地，所述由所述计算线程组通过所述数据处理函数对所述输入缓冲池中的数据进行数据处理，将处理结果推入输出缓冲池的步骤，包括：