[发明专利]数据处理方法和装置

权利要求书

1.一种数据处理方法，用于事件流数据的多维度处理，其特征在于，包括：

针对所述多维度处理中的各维度处理，分别判断所述维度处理中的维度标识数量与预定线程数量之差的绝对值是否小于等于预定阈值；

当判定所述维度处理中的维度标识数量与预定线程数量之差的绝对值小于等于预定阈值时，将所述维度处理中的各维度标识对应的处理分别分配到所述预定数量的线程中的多个线程上执行，使得同一维度标识对应的处理在所述多个线程上并行完成。

2.根据权利要求1所述的方法，其特征在于，还包括：

当判定所述维度处理中的维度标识数量与预定线程数量之差的绝对值大于所述预定阈值时，将所述维度处理中的各维度标识对应的处理分别分配到所述预定数量的线程中的对应单一线程上执行，使得同一维度标识对应的处理在同一线程上完成。

3.根据权利要求2所述的方法，其特征在于，所述将所述维度处理中的各维度标识对应的处理都分别分配到所述预定数量的线程中的多个线程上执行，使得同一维度标识对应的处理在所述多个线程上并行完成，进一步包括：

根据对所述维度处理中的每个维度标识的划分，将所述维度处理中的所述维度标识对应的处理分配到所述预定数量的线程中的多个线程上并行执行；以及

合并同一维度标识对应的处理在所述多个线程上的执行结果，以完成所述维度处理中的各维度标识对应的处理。

4.根据权利要求3所述的方法，其特征在于，所述根据对所述维度处理中的每个维度标识的划分，将所述维度处理中的所述维度标识对应的处理分配到所述预定数量的线程中的多个线程上并行执行，进一步包括：

针对当前事件流数据，确定维度标识对应的线程标识集合，所述线程标识集合包括与维度标识对应的处理可用的线程对应的线程标识；以及

从所述线程标识集合中随机选择一个线程标识，以将该线程标识对应的线程用于所述当前事件流数据的处理。

5.根据权利要求3所述的方法，其特征在于，所述合并同一维度标识对应的处理在所述多个线程上的执行结果，进一步包括：

根据维度标识对应的线程标识集合中的线程标识，合并维度标识对应的处理在各线程上的执行结果，以获得与该维度标识对应的处理结果。

6.根据权利要求3所述的方法，其特征在于，所述根据对所述维度处理中的每个维度标识的划分，将所述维度处理中的所述维度标识对应的处理分配到所述预定数量的线程中的多个线程上并行执行，进一步包括：

初始化设置维度标识对应的线程标识集合，使得各维度标识对应的线程标识集合中的线程标识都分别对应于所述预定数量的线程。

7.根据权利要求3所述的方法，其特征在于，所述根据对所述维度处理中的每个维度标识的划分，将所述维度处理中的所述维度标识对应的处理分配到所述预定数量的线程中的多个线程上并行执行，进一步包括：

根据所述事件流数据中的各维度标识在特定时间段内的处理量，更新各维度标识对应的线程标识集合，使得各维度标识对应的线程标识集合中的线程标识对应于所述预定数量的线程中的一部分线程。

8.根据权利要求7所述的方法，其特征在于，所述根据对所述维度处理中的每个维度标识的划分，将所述维度处理中的所述维度标识对应的处理分配到所述预定数量的线程中的多个线程上并行执行，进一步包括：

从特定时间段内的事件流数据中统计所述维度处理中的各维度标识出现的事件数；以及

根据特定维度标识出现的事件数以及各维度标识出现的事件数，计算所述特定维度标识在特定时间段内的处理量。