[发明专利]一种内存访问的数据密集型进程调度方法

说明书

本发明公开了一种内存访问的数据密集型进程调度方法，包括步骤1，构造就绪队列；步骤2，构造调度队列；步骤3，构造优先等待队列，步骤4，当前时间片执行完之后，判断进程是否已经执行完毕，如果已经执行完成，将进程从所有队列中移除，否则将进程放入就绪队列，继续等待下一次调度；步骤5，判断所有进程是否执行完毕，如是则当前工作集完成，否则执行下一个进程。本发明具有如下的优点：优化系统管理，充分利用系统资源，避免了因内存总线竞争所造成的访问长时间等待。

技术领域

本发明属于计算机的内存访问技术领域，具体涉及一种数据密集型进程调度方法。

背景技术

在高性能计算和大数据应用中，将数据集移动到内存中以便于高速文件访问是一种技术趋势。为了充分利用存储系统的优势，许多内存文件系统和内存数据库被用来充分使用内存总线，提供快速文件读写。因为这些系统建立在直接连接到内存总线上的非易失性存储器(NVM)或者DRAM上，与传统基于块设备的数据I/O相比，这些系统有非常大的性能提升，这对需要大量读写数据的进程十分有利。然而，由于所有的文件访问都通过内存总线，当大量数据密集型进程同时读写内存文件系统时，会产生内存总线竞争的问题。

在现有的Linux系统中，访问内存文件系统的进程被默认的Complete FairScheduler(CFS)调度器所管理。CFS的设计目标是尽量保证每个进程公平得到足够的CPU时间，CFS引入了“虚拟运行时间”的概念，通过系统的负载和进程的优先级动态计算每个进程在每个调度周期应该执行的时间。当数据密集型进程连续访问内存文件系统时，这些进程不会被切换，会一直占用内存总线和CPU，直到它们的时间片用完，即定时器中断才能触发进程调度。

目前的研究工作主要集中在如何充分利用内存文件系统，而由于使用内存文件系统带来的内存总线竞争的问题却没有被充分考虑。

发明内容

针对现有技术中存在的技术问题，本发明所要解决的技术问题是从系统调度策略的层面提供一种内存访问的数据密集型进程调度方法，它能优化系统管理，充分利用系统资源，避免因内存总线竞争所造成的访问长时间等待。

本发明的构思是：根据已有的调度方法分给每个进程的执行时间为固定长度的时间单元，称为“时间片”，在现有的操作系统中，时间片由定时器中断产生，其周期一般为100毫秒，并且该数值是系统的配置参数，可以根据需要修改；进程的时间片用完之后会被切换；每个应用程序的一个实例是系统调度的一个“进程”，多个应用程序组成一个“工作集”；每个进程从开始执行到执行完成所花的时间为其执行时间，工作集中所有进程执时间的最大值为工作集的完成时间。工作集中每个进程又具有单独执行所需的执行时间和每个时间片的内存带宽需求，内存带宽需求可以通过系统性能检测工具获取(比如perf)，这种工具通过读取处理器本身的硬件计数器，统计在一段时间内内存总线上的读/写次数，换算得出内存带宽需求。系统内存带宽能达到的最大值是系统的带宽资源限制，处理器个数决定了同一个时间片能够执行的进程个数的最大值；在每个调度时间片中没有被选中的进程等待的时间片需要增加1，每个进程允许等待的时间片的最大值称为等待“阈值”。

由此，针对内存总线的带宽限制和每个进程在每个时间片对带宽的需求，采用内存带宽需求高与带宽需求低的进程结合进行调度，使每个时间片的内存带宽需求之和不超过系统的总带宽，从而缓和总线竞争，缩短工作集的平均完成时间。

为了解决的上述技术问题，本发明包括以下步骤：

步骤1，将系统中的进程设置三个队列，分别是：

调度队列，用来保存每个时间片应该执行的进程；

就绪队列，用来保存新加入的进程；

优先级等待队列，用来保存等待时间达到阈值的进程；