[发明专利]处理方法和处理装置

权利要求书

1.一种处理方法，应用于集群中的计算节点，包括：

统计所述计算节点中待处理数据的数据量，包括：至少获得所述待处理数据的需求内存；

获得所述计算节点的指定的初始并行度，并基于所述待处理数据的数据量处理所述初始并行度，所述指定的初始并行度是指所述计算节点基于预设参数确定的用于处理本地存储数据的并行度；

其中，所述基于所述待处理数据的数据量处理所述初始并行度，包括：

至少基于所述待处理数据的需求内存确定所述计算节点的并行度允许范围；其中，所述至少基于所述待处理数据的需求内存确定所述计算节点的并行度允许范围，包括：根据所述待处理数据的需求内存和预设内存分区规则确定所述计算节点的第一并行度允许范围；根据所述待处理数据的数据行数和预设行数分区规则处理所述第一并行度允许范围，得到第二并行度允许范围；

根据所述第二并行度允许范围处理所述初始并行度。

2.根据权利要求1所述的方法，所述方法还包括：

获得所述计算节点的硬件状态，并基于所述计算节点的硬件状态调整所述初始并行度的处理结果。

3.根据权利要求1所述的方法，其中，所述获得所述计算节点的硬件状态，包括：

获得所述计算节点中CPU核的数量。

4.根据权利要求3所述的方法，其中，所述获得所述计算节点的硬件状态，还包括：

获得所述CPU核的资源占用情况，所述资源占用情况至少包括占用内存。

5.根据权利要求4所述的方法，其中，所述资源占用情况还包括：

网络传输速率和/或I/O读写速率。

6.一种处理装置，包括：

统计模块，用于统计计算节点中待处理数据的数据量，包括：至少获得所述待处理数据的需求内存；

处理模块，用于获得所述计算节点的指定的初始并行度，并基于所述待处理数据的数据量处理所述初始并行度，所述指定的初始并行度是指所述计算节点基于预设参数确定的用于处理本地存储数据的并行度

其中，所述基于所述待处理数据的数据量处理所述初始并行度，包括：

至少基于所述待处理数据的需求内存确定所述计算节点的并行度允许范围；其中，所述至少基于所述待处理数据的需求内存确定所述计算节点的并行度允许范围，包括：根据所述待处理数据的需求内存和预设内存分区规则确定所述计算节点的第一并行度允许范围；根据所述待处理数据的数据行数和预设行数分区规则处理所述第一并行度允许范围，得到第二并行度允许范围；

根据所述第二并行度允许范围处理所述初始并行度。