[发明专利]分布式流水线的数据处理方法、装置及存储介质

权利要求书

1.一种分布式流水线的数据处理方法，其特征在于包括：

创建异步执行的数据处理线程以及数据传输线程，其中所述数据处理线程和所述数据传输线程的个数均不止一个；

通过所述数据传输线程获得上游任务生成的压缩后数据；

通过所述数据处理线程对所述上游任务的压缩后数据解压缩并执行当前任务，确定并根据当前的目标压缩算法对所述当前任务生成的数据进行压缩，将所述当前任务生成的压缩后数据存放至发送缓冲区；

通过所述数据传输线程向相应的下游任务发送所述发送缓冲区中的数据。

2.根据权利要求1所述的数据处理方法，其特征在于，所述确定当前的目标压缩算法，包括：

若所述发送缓冲区的饱和程度未超过预设范围，则将所述数据处理线程压缩上一块数据所使用的压缩算法作为所述当前的目标压缩算法；

若所述发送缓冲区的饱和程度超过所述预设范围，则根据预先建立的压缩级别列表以及所述数据处理线程压缩所述上一块数据所使用的压缩算法，确定所述当前的目标压缩算法；

其中，所述压缩级别列表中包括针对所述当前任务的至少两种压缩级别的压缩算法。

3.根据权利要求2所述的数据处理方法，其特征在于，所述根据预先建立的压缩级别列表以及所述数据处理线程压缩上一块数据所使用的压缩算法，确定所述当前的目标压缩算法，包括：

确定所述数据处理线程压缩上一块数据所使用的压缩算法在所述压缩级别列表中对应的参考压缩级别；

根据所述发送缓冲区的饱和程度以及所述参考压缩级别，从所述压缩级别列表中确定调整后的压缩级别，作为当前的目标压缩级别，根据当前的目标压缩级别确定所述当前的目标压缩算法。

4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述发送缓冲区的饱和程度以及所述参考压缩级别，从所述压缩级别列表中确定调整后的压缩级别，包括：

若所述发送缓冲区的饱和程度低于所述预设范围的下限值，则从所述压缩级别列表中确定数据压缩程度低于所述参考压缩级别的压缩级别，作为所述调整后的压缩级别；

若所述发送缓冲区的饱和程度高于所述预设范围的上限值，则从所述压缩级别列表中确定数据压缩程度高于所述参考压缩级别的压缩级别，作为所述调整后的压缩级别。

5.根据权利要求2-4任意一项所述的数据处理方法，其特征在于，还包括建立所述压缩级别列表的步骤：

确定所述当前任务的数据特征以及查询特征，将所述数据特征以及查询特征输入至预先训练的神经网络模型，获得当前任务的压缩级别列表；

其中，所述神经网络模型是以样本任务的数据特征以及查询特征为训练样本，至少以所述样本任务的压缩级别列表为训练标签训练而成。

6.根据权利要求5所述的数据处理方法，其特征在于，所述将所述数据特征以及查询特征输入至预先训练的神经网络模型，还包括：

获得当前任务的初始压缩级别；

相应的，所述训练标签还包括所述样本任务的初始压缩级别；

其中，所述压缩级别列表中初始压缩级别对应的压缩算法至少作为所述当前任务生成的第一块数据的压缩算法。

7.根据权利要求4所述的数据处理方法，其特征在于，还包括：

若确定出现预设次数的特定调整方式，则对所述发送缓冲区进行扩容；

其中，所述特定调整方式为相邻两次调整压缩级别的方式相反。

8.根据权利要求4所述的数据处理方法，其特征在于，还包括：

若确定出现预设次数的特定调整方式，则调整不同压缩级别在各数据处理线程中的比例；

其中，所述特定调整方式为相邻两次调整压缩级别的方式相反。