[发明专利]基于多线程共享内存通信的动态线程映射优化方法及装置

权利要求书

1.一种基于多线程共享内存通信的动态线程映射优化方法，其特征在于，包括以下步骤：

步骤一、在多线程并行程序运行过程中，周期性收集并统计线程间的通信量；具体的，持续性地对每次通信进行记录，统计为线程间的通信量矩阵A∈R^n×n，n表示程序运行的线程总数，矩阵元素为a(i，j)，i∈n，j∈n表示线程i和线程j的通信量数值；

基于内存缺页错误的方法检测线程间的通信量，具体的，使用Linux操作系统的Kprobe内核函数组，检测程序运行时系统中产生的每次缺页错误，统计并记录产生缺页错误的线程ID和内存物理地址；在此过程中，周期性地引入额外缺页错误进行统计和记录；

统计线程间的通信量时，定义一个哈希表，对内存物理地址空间进行按照粒度进行划分，索引为划分后的块ID，哈希表项为一个队列，记录在该内存块上产生缺页错误的不同的线程ID，规定队列大小；每次当队列中记录入一个新的线程，将队首元素出队，然后计该新线程与仍在队列中的其他线程之间产生一次通信，按此方式，实时更新通信量矩阵；

步骤二、由步骤一统计得到的通信量矩阵，转化得到表示线程间通信量的无向图，根据线程间通信量的无向图层次化地计算出对线程合理划分后的分组，输出分组结果；

步骤三、调用内核函数为每个线程依次设置其CPU亲和度，将程序中的各线程依据分组计算的结果，迁移到对应的CPU核心上，至此执行完一轮线程到核的映射过程；

步骤四、间隔一段时间，重复步骤一至三，进行线程到核动态映射机制，直到线程退出。

2.根据权利要求1所述基于多线程共享内存通信的动态线程映射优化方法，其特征在于：引入额外缺页错误的方式为删除掉页表中某个内存页的present保留位。

3.根据权利要求1所述基于多线程共享内存通信的动态线程映射优化方法，其特征在于：步骤二所述的线程间通信量的无向图为G＝(V,E)，顶点集V是所有线程ID的集合，边集E的元素是二元(i,j)(i，j∈V)，表示线程i与线程j之间的通信过程，边上的权值W(i，j)是线程i与线程j的通信量，使用Scotch mapping library的双递归算法层次化地计算出线程划分后的分组，算法输入为线程间通信量的无向图G和工具Hwloc测试出的节点上系统架构信息。

4.根据权利要求1所述基于多线程共享内存通信的动态线程映射优化方法，其特征在于：步骤二在每次线程的分组计算过后，对通信量矩阵A进行老化处理；具体为，将上一次参与分组计算的通信量矩阵的所有元素值a(i，j)，i∈n，j∈n，乘以老化系数α，0.5α1。

5.根据权利要求1所述基于多线程共享内存通信的动态线程映射优化方法，其特征在于：步骤四中的时间间隔为interval，50msinterval1s。

6.根据权利要求5所述基于多线程共享内存通信的动态线程映射优化方法，其特征在于：设定初始的interval＝200ms，若后一次的映射分组计算结果与前一次结果一致或偏差不大，interval增加50ms，若后一次的映射分组计算结果与前一次结果相差很大，nterval减少50ms。

7.一种基于多线程共享内存通信的动态线程映射优化装置，其特征在于，用于实现权利要求1至6中任意一项所述基于多线程共享内存通信的动态线程映射优化方法，包括：

通信检测与统计模块，在多线程并行程序运行过程中周期性收集并统计线程间的通信量；

映射分组计算模块，根据线程间的通信量层次化计算出对线程合理划分后的分组并输出；

线程迁移及控制模块，将各线程依据分组计算的结果迁移到对应的CPU核心上。