[发明专利]分布式数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种分布式数据处理方法，其特征在于，包括：

获取输入迭代器和数据处理参数；其中，所述输入迭代器为弹性分布式数据集RDD的每个分区对应的迭代器，所述输入迭代器中存储有所述RDD的相应分区中的待处理数据，所述数据处理参数包括数据处理函数和计算并行度；

创建采用Spark作为分布式计算执行引擎的并行迭代器，所述并行迭代器包括输出迭代器和线程数为所述计算并行度的计算线程组，所述输入迭代器为所述并行迭代器的输入，所述计算线程组用于通过所述数据处理函数消费所述输入迭代器中的数据；

当启动所述并行迭代器时，从所述输入迭代器中拉取数据至输入缓冲池，由所述计算线程组通过所述数据处理函数对所述输入缓冲池中的数据进行数据处理，将处理结果推入输出缓冲池，并由所述输出迭代器对所述输出缓冲池中的处理结果进行输出。

2.根据权利要求1所述的分布式数据处理方法，其特征在于，所述数据处理参数还包括是否保证有序；所述从所述输入迭代器中拉取数据至输入缓冲池的步骤，包括：

当所述是否保证有序为是时，从所述输入迭代器中拉取数据，对拉取出的每条数据进行顺序标记，并将带有顺序标记的数据输出至输入缓冲池。

3.根据权利要求2所述的分布式数据处理方法，其特征在于，所述由所述输出迭代器对所述输出缓冲池中的处理结果进行输出的步骤，包括：

当所述输出缓冲池中的处理结果带有顺序标记时，按照所述顺序标记从所述输出缓冲池的处理结果中拉取结果数据并输出。

4.根据权利要求1所述的分布式数据处理方法，其特征在于，所述由所述计算线程组通过所述数据处理函数对所述输入缓冲池中的数据进行数据处理，将处理结果推入输出缓冲池的步骤，包括：

由所述计算线程组中的各个线程从所述输入缓冲池中拉取数据，同时对处理中的数据数目进行计数，并进行数据处理，将处理结果推入输出缓冲池。

5.根据权利要求1所述的分布式数据处理方法，其特征在于，所述分布式数据处理方法还包括：

当调用所述输出迭代器的获取元素方法时，判断所述输出缓冲池中是否存在数据；

如果所述输出缓冲池中不存在数据，判断所述计算线程组是否启动；

如果所述计算线程组未启动，启动所述计算线程组。

6.根据权利要求5所述的分布式数据处理方法，其特征在于，在所述启动所述计算线程组的步骤之后，所述分布式数据处理方法还包括：

判断所述输入缓冲池中的数据量是否降低至预设值；

如果降低至所述预设值，执行所述从所述输入迭代器中拉取数据至输入缓冲池的步骤。

7.根据权利要求1所述的分布式数据处理方法，其特征在于，所述输入迭代器为经mapPartitions操作得到的。

8.一种分布式数据处理装置，其特征在于，包括：

获取模块，用于获取输入迭代器和数据处理参数；其中，所述输入迭代器为弹性分布式数据集RDD的每个分区对应的迭代器，所述输入迭代器中存储有所述RDD的相应分区中的待处理数据，所述数据处理参数包括数据处理函数和计算并行度；

创建模块，用于创建采用Spark作为分布式计算执行引擎的并行迭代器，所述并行迭代器包括输出迭代器和线程数为所述计算并行度的计算线程组，所述输入迭代器为所述并行迭代器的输入，所述计算线程组用于通过所述数据处理函数消费所述输入迭代器中的数据；

处理模块，用于当启动所述并行迭代器时，从所述输入迭代器中拉取数据至输入缓冲池，由所述计算线程组通过所述数据处理函数对所述输入缓冲池中的数据进行数据处理，将处理结果推入输出缓冲池，并由所述输出迭代器对所述输出缓冲池中的处理结果进行输出。

9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的分布式数据处理方法。

10.一种存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-7中任一项所述的分布式数据处理方法。