[发明专利]一种基于混合内存的任务与数据调度方法和装置

说明书

本发明涉及数据处理领域，提供一种基于混合内存的任务与数据调度方法和装置，所述方法包括：步骤1，根据任务与数据的DAG图，获得任务的输入数据与输出数据；步骤2，对所述输入数据与输出数据进行数据分类，得到共享数据源与独立数据源；步骤3，根据任务对处理器和内存的访问时间，获得执行任务最快的处理器，将任务分配到该处理器上，完成初始化调度；步骤4，根据数据分类和初始化调度，对输入数据进行调度；步骤5，根据处理器处理任务和内存访问数据的能耗，对任务所在的处理器和数据所在的内存进行位置调整。本发明充分考虑了数据对任务调度的影响，提高了数据识别的能力，降低了能耗。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于混合内存的任务与数据调度方法和装置。

背景技术

近几年信息技术高速发展，信息的爆炸式增长和信息的实时处理能力是矛盾的。当希望从海量数据中快速获得所需要的信息时候，企业对信息系统对海量数据的实时处理能力的需求，过去从来没有如此之强烈和迫切。而信息系统所不可避免的遇到性能问题就成为企业迫在眉睫要解决的重大挑战。

从过去的几年来看，计算机处理器的速度几乎没有太大的突破，但是伴随着的是CPU处理器从单核走向多核，从2核、4核，再到8～10核，而且很快即将拥有32～64个内核的单处理器。通过增加处理器的内核，CPU具有了更强、更多并发的计算能力。在CPU这样的新发展趋势下，传统软件架构如果不做革命性的创新，无法有效驾驭和充分利用这种新硬件架构的优势。从总体的系统架构优化角度来看，由于目前无法充分发挥多CPU内核配合大内存硬件架构的潜在高性能，数据读取频繁，数据库只“存放”数据而计算仍然在应用层完成，没有内存数据库做支撑，不支持大规模并行处理计算，没有解决列存储、行存储、内存技术、并行化处理的组合应用等原因，期望单纯通过加大硬件投资，是无法给企业带来良好的投资回报比的。

因此随着大数据时代的到来，任务所要处理数据量呈现爆炸式增长，单一的内存并不能处理大块的数据，如果不创新出新的内存模式，这将会成为计算机高性能计算方面的主要障碍之一，于是混合内存的方式就应运而生了。为了满足日益增长的高性能计算需要，有各种各样的内存混合模式被提出，如PCM与NAND Flash，uCache，还有DRAM与NORFlash等。

但是，现有技术针对混合内存的任务与数据调度方法，主要是通过PCM 与NANDFlash的混合，存在当遇到大型数据又不能进行切割的时候就会有难处理的问题。

发明内容

本发明主要解决现有技术的任务与数据调度方法读取数据过程中消耗过高的技术问题，提出一种基于混合内存的任务与数据调度方法，充分考虑了数据对任务调度的影响，提高了数据识别的能力，在相同时间内对比其他任务调度技术大幅度的降低了能耗。

本发明提供了一种基于混合内存的任务与数据调度方法，包括以下过程：

步骤1，根据任务与数据的DAG图，获得任务的输入数据与输出数据；

步骤2，对所述输入数据与输出数据进行数据分类，得到共享数据与独立数据，其中，所述共享数据是作为多个任务的输入数据，能够进行多次内存访问操作，所述独立数据只被一个任务所使用，能够进行一次内存访问操作；

步骤3，根据任务对处理器和内存的访问时间，获得执行任务最快的处理器，将任务分配到该处理器上，完成初始化调度，其中，所述内存是由DRAM和SSD 构成的混合内存；

步骤4，根据步骤2中的数据分类和步骤3中得到的初始化调度，对输入数据进行调度，包括：利用各个处理器访问内存的时间与能耗，将共享数据优先调度到DRAM上，进而处理独立数据，将独立数据调度到DRAM上，如果DRAM已满，则将独立数据调度到SSD上，其中，调度目标是使数据在访问时间上的消耗达到最低；

步骤5，根据处理器处理任务和内存访问数据的能耗，对任务所在的处理器和数据所在的内存进行位置调整。