[发明专利]一种用于流式数据并行处理的内存管理方法

权利要求书

1.一种用于流式数据并行处理的内存管理方法，所述流式数据并行处理基于流水线构架实现，所述流水线构架包括多组建立了一一对应的对等关系的生产者和消费者，具有对等关系的每个生产者都具有私有的局部缓存池，具有对等关系的每个消费者也都具有私有的局部缓存池，所述用于流式数据并行处理的内存管理方法包括下列步骤：

1)在进行流式数据并行处理过程中，每个生产者向其私有的局部缓存池申请内存，并且在该生产者的局部缓存池为空时，触发交换操作以获得内存块，所述交换操作是将该生产者的局部缓存池的指针或对象引用和与其对等的消费者的局部缓存池的指针或对象引用进行交换；

2)在进行流式数据并行处理过程中，每个消费者向该消费者的局部缓存池释放内存。

2.根据权利要求1所述的用于流式数据并行处理的内存管理方法，其特征在于，所述步骤1)中，所述交换操作通过交换对等的生产者和消费者的局部缓存池的指针或者对象引用实现。

3.根据权利要求1所述的用于流式数据并行处理的内存管理方法，其特征在于，所述步骤1)还包括：触发交换操作后，若此时对等消费者缓存池的内存块数目少于第一阈值，停止所述交换操作，生产者直接从全局内存池获取内存块，若此时对等消费者缓存池的内存块数目达到所述第一阈值，则继续执行所述交换操作。

4.根据权利要求3所述的用于流式数据并行处理的内存管理方法，其特征在于，所述步骤2)还包括：消费者向该消费者的线程局部缓存池释放内存时，若此时该消费者的局部缓存池的内存块数目超过第二阈值，则该消费者停止向其局部缓存池释放内存，改为向所述全局内存池释放内存，若此时该消费者的局部缓存池的内存块数目未超过所述第二阈值，则该消费者继续向其局部缓存池释放内存，所述第二阈值大于所述第一阈值。

5.根据权利要求3所述的用于流式数据并行处理的内存管理方法，其特征在于，所述步骤1)包括下列子步骤：

11)生产者开始对流式数据进行流水线第一级数据处理时，触发为本批次流式数据的内存申请；

12)该生产者判断本地局部缓存池是否为空，如果是，则继续执行步骤13)，如果否，则执行步骤15)；

13)判断对等端的消费者的局部缓存池的容量是否大于所述第一阈值，如果是，则执行步骤14)如果否，则执行步骤16)；

14)将该生产者的线程局部缓存池与其对等消费者的线程局部缓存池交换；

15)该生产者从局部缓存池中获取所需的内存块；

16)该生产者从全局内存池获取内存块。

6.根据权利要求4所述的用于流式数据并行处理的内存管理方法，其特征在于，所述步骤2)包括下列子步骤：

21)消费者在完成一批次流式数据的最后一级数据处理时，触发本批次流式数据的内存释放；

22)该消费者判断本地的局部缓存池存量是否小于所述第二阈值，如果是，执行步骤23)，否则，执行步骤24)；

23)将内存释放到本地的局部缓存池；

24)将内存直接释放到全局内存池。

7.根据权利要求3所述的用于流式数据并行处理的内存管理方法，其特征在于，所述步骤1)还包括：每个生产者动态调整自身的所述第一阈值。

8.根据权利要求7所述的用于流式数据并行处理的内存管理方法，其特征在于，所述步骤1)中，动态调整所述第一阈值的方法如下：每个生产者记录交换操作触发频度F1和直接访问全局内存池的频度F2，当(C1*F1)>(C2*F2)时，提高该生产者的所述第一阈值，当(C1*F1)<(C2*F2)时，降低该生产者的所述第一阈值，其中C1表示单次交换操作的开销，C2表示单次访问全局内存池的开销。

9.根据权利要求4所述的用于流式数据并行处理的内存管理方法，其特征在于，所述步骤2)还包括：消费者动态调整所述第二阈值。

10.根据权利要求9所述的用于流式数据并行处理的内存管理方法，其特征在于，动态调整所述第二阈值的方法如下：当全局内存池的内存块超出预设的全局内存阈值时，提高所述第二阈值。