[发明专利]一种NUMA架构下平衡多线程间访存延迟的调度系统及方法

说明书

本发明公开了一种NUMA架构下平衡多线程间访存延迟的调度系统及方法，所述系统包括检测模块、采样模块、分析模块、判断模块和调度模块，通过采样保存多线程程序运行过程中每个线程的访存信息，预测分析该多线程程序中各线程的访存延迟是否不平衡，根据分析结果进行合理的调度，对远端访存的线程访问变量进行迁移调度至线程所在节点或使用交错存放将其平均分配到各节点上，从而保证各线程的访存延迟基本相等。本发明通过平衡多线程间访存延迟的方式，优化多线程程序在NUMA架构下的运行性能，本发明通过一种细粒度，有针对性的方式进行实时调度，使多线程程序取得并行区域的性能优化。

技术领域

本发明属于计算机体系结构下的多线程性能优化领域，更具体的，涉及一种NUMA架构下平衡多线程间访存延迟的调度系统及方法。

背景技术

非一致访存(NUMA)架构是目前流行的商用服务器架构之一，它采用了分布式存储器模式，且其中所有节点的处理器都可以访问全部的物理内存，易于管理，可扩充性好，因此得到了广泛的应用。

在NUMA架构中，每个CPU访问的内存可以分为两种：与CPU在同一个节点的内存称为本地内存，访问延迟非常低；与CPU在不同节点上的内存叫做远端内存，对于远端内存的访问，CPU需要通过节点互联的方式进行，所以其访问延迟要比本地内存的访问延迟长。这种访存延迟的不一致性是NUMA架构的最主要特点，但它却给程序的调度和运行带来了困难，如果没有得到合理的线程以及数据分配，那么很有可能导致该程序中所有的访存操作都成为远端访存，从而经历较大的访存延迟，程序运行时间大大延长，使程序的性能大打折扣。当然，这些由于远端访存造成的延迟可以通过系统仔细地将程序的线程和它所用的数据协同调度进一步减少或消除。

针对程序在NUMA架构下运行的特殊性，目前已经提出了一些NUMA感知的调度算法。大部分NUMA感知的调度算法仅是针对单个线程，或者针对多个线程时仅单纯地将各个线程独立开来考虑，并没有考虑到多线程并行时的同步问题。

对于运行过程中存在线程同步操作的多线程程序，在NUMA架构下运行时需要考虑各个线程的运行速度问题，如果在需要达到同步的线程中存在一些线程，由于执行的远端访存较多，导致运行速度慢，那么该线程成为了拖累程序运行速度的关键线程，这个时候为了减少其他线程远端访存所做的工作，其对于最终程序所表现出来的整体性能并不能有很好的提高。现有的针对NUMA架构下程序运行性能的优化工具中，缺乏针对多线程之间访存延迟均衡这一问题的优化方式。相应地，本领域亟需寻找一种适用于NUMA架构下平衡多线程访存延迟的方法。

发明内容

针对现有技术的以上缺陷或不足，本发明提出一种NUMA架构下平衡多线程间访存延迟的调度系统及方法。利用本发明中的系统及方法，相应能够有效解决由于NUMA架构下访存行为的非一致性导致的多线程程序各线程间访存延迟的不一致问题，显著提高了NUMA架构下分析调度的实时性，大大优化了NUMA架构下程序运行性能。

为实现上述目的，本发明一种NUMA架构下平衡多线程间访存延迟的调度系统，其特征在于，所述系统包括检测模块、采样模块、分析模块、判断模块和调度模块，其中，

检测模块，用于探测程序是否进入多线程并行执行区域，还用于在探测程序进入多线程并行执行区域后，启动采样模块；

采样模块，用于对多线程程序运行过程中每个线程的访存行为进行采样，并将采样过程中获取的访存信息保存；

分析模块，一方面用于根据所述采样模块获取的访存信息，定期对所述多线程程序中各线程的访存延迟不平衡度进行评估，还用于针对发生不平衡现象的多线程程序进行访存行为分析，此外，所述分析模块还用于根据所述采样模块获取的访存信息进行访存规律分析；