[发明专利]一种具有多cache一致性域的多处理器节点系统构建方法

说明书

技术领域

本发明涉及计算机应用领域, 具体地说是一种具有多cache一致性域的多处理器节点系统构建方法.

背景技术

对于多处理器系统，其多个处理器共享系统内存空间。当前，多处理器之间的连接方式由总线连接转变为点对点连接，内存也从挂接处理器外部桥接芯片转变为直接挂接处理器。由于内存挂接方式的变化，内存在系统中的分布也发生变化，从而导致多处理器系统中内存访问的非均一性，故当前多处理器系统多为NUMA（Non-Uniform Memory Access——非一致内存访问）架构系统。

NUMA架构多处理器系统具有以下3个重要特点：

1、所有内存进行统一编址，形成一个统一的内存空间；

2、所有处理器都能访问内存空间的全部地址；

3、访问远端内存比访问其本地内存慢。

NUMA系统中有多个cache单元分布于系统，因而设计NUMA系统须解决多cache之间的一致性问题。满足cache一致性的NUMA系统也称为CC-NUMA（Cache Coherent Non-Uniform Memory Access——Cache一致性非一致内存访问）系统。如何解决cache一致性问题是CC-NUMA系统的核心问题。

由于当今处理器直接挂接内存，其本身支持cache一致性协议；因而一种方案是将这些处理器直连构成多处理器系统，处理器之间的cache一致性可以由这些处理器本身的cache一致性协议维护引擎保证，并形成一个单一cache一致性域。在单一cache一致性域之中的各个处理器用处理器ID号标识和识别。但这种方式组织的多处理器系统规模有限，这是因为每个处理器在cache一致性域内至少占用一个处理器ID号，而每个处理器能够分辨的处理器ID号个数是受限的。例如，某款处理器能够分辨4个处理器ID号，即能够支持域内最多4颗处理器直接互连。再例如，某款处理器只能分辨2个处理器ID，其所能支持的cache一致性域内的处理器数仅为两个。同时，由于物理限制和价格限制，处理器的互连端口数量同样受限，在某些情况下，即使处理器支持的单一cache一致性域内处理器ID数目能够满足要求，但直连的方式会带来跨处理器内存访问较大的跳步数和延迟，并不能构成一个高效的多处理器系统。

处理器参数配置、互连端口数目和能够支持的处理器ID数量与处理器定价体系密切相关，一般来说，处理器支持的互连端口数和处理器ID数量越少，价格越便宜。支持域内2个处理器ID会比支持4个处理器ID的处理器价格更低廉。

如上文所述，按处理器直连的方式构成的多处理器系统规模有限。为实现更大规模的CC-NUMA多处理器系统，必须借助于节点控制器（Node Controller）。节点控制器具有扩展系统规模和维护全局cache一致性的功能；首先，每个节点控制器连接1至4颗处理器，组成一个节点和一级cache一致性域，域内cache一致性由处理器和节点控制器共同维护。节点控制器也会占用域内的至少一个处理器ID，因而域内处理器加节点控制器的数量不能大于处理器所能支持的域内处理器ID数。然后，节点控制器直接互连或通过节点路由器连接以组成大规模CC-NUMA系统。节点间的二级cache一致性由节点控制器维护，某节点内的处理器跨节点和cache一致性域访问另一个节点内处理器的内存时，全局cache一致性通过节点控制器维护。

CC-NUMA系统使用节点控制器扩展系统规模和维护全局cache一致性增加了跨域处理和域间通信的开销，导致访问远端内存的显著下降，系统规模越大，下降越明显。若构建一个由64颗处理器组成的CC-NUMA系统，可采用两种方案，方案1是每个节点内一致性域内有4颗处理器，则整个系统至少需要16个节点控制器。方案2可使用仅支持域内2个处理器ID的处理器，则一个节点内cache一致性域只能由一颗处理器和一个节点控制器构成，这就必须使用至少64个节点控制器。如此多的节点控制器使节点间互连规模非常庞大，节点间拓扑愈发复杂；造成跨节点访问远端内存的速度明显恶化，进而导致系统效率的快速下降和性能的巨大损失。

由此可见，对于多节点多处理器系统，减少节点的数目对于降低节点间互连规模、简化节点间拓扑具有直接而显著的作用，尤其是对于互连端口数目和能够支持的域内处理器ID数量非常有限的处理器更是如此。因此，能否有效减小节点控制器的数量是一个意义重大且又非常紧迫的技术难题。

发明内容

本发明的目的是提供一种具有多cache一致性域的多处理器节点系统构建方法。