[发明专利]一种可降低跨节点访存延时的NUMA系统构建方法

说明书

本发明涉及一种可降低跨节点访存延时的NUMA系统构建方法，其特征在于，将NUMA系统划分成若干节点，每个节点由同样数量的处理器和两个CC组成，每个处理器通过互连总线端口与节点内的其他处理器和CC进行通信；通过对每个处理器的地址译码器进行独立配置，将节点内的两个处理器协同芯片CC分别映射到完全相同的节点外内存空间，每个节点内的两个CC分别在系统地址空间中各自代理两个不同的平面，每个CC和与之直连的处理器构成其中一个平面；在节点间建立平面间的交叉互连关系；通过上述地址映射和物理互连的方法，实现系统中任意处理器跨节点访存时需要的报文路由转发路径长度为3跳。

技术领域

本发明属于计算机技术领域，具体涉及一种可降低跨节点访存延时的NUMA系统构建方法。

背景技术

NUMA是一种典型的分布式共享内存多处理器架构，以其较高的可编程性和系统综合效能，成为高端服务器的主流技术之一。当前主流的NUMA系统中处理器和处理器之间普遍采用点到点互连的方式进行通信，受到芯片工艺、面积和功耗等方面原因的限制，处理器所能够提供的互连总线端口数目是有限的（≤3）。当NUMA系统规模较大、处理器数目较多时，处理器所能提供的互连总线端口数目不足以实现全直连，非直连的处理器间通信需要经过其他处理器或处理器协同芯片（CC，Co-operative Chipset）进行报文的中继和路由转发，转发经过的跳步数目越多，路由开销越大，访存延时越高，系统性能因此受到影响。

现有的多节点NUMA系统构建方法，任意处理器跨节点访存时需要同时与节点内的两个CC进行通信，若涉及的物理地址与处理器分属不同平面，访存报文的路由转发路径最大长度为5跳：第1跳为请求源处理器与同节点中继处理器1之间的点到点通信；第2跳为中继处理器1与本节点CC之间的点到点通信；第3跳为请求源节点CC与目标节点CC之间的点到点通信；第4跳为目标节点CC与同节点内中继处理器2之间的点到点通信；第5跳为中继处理器2与同节点内存宿主处理器的点到点通信。若采用高/低位交叉的地址映射方式，处理器在跨节点访存时有25%的概率走最长路径，导致系统访存的平均延时增大，整体访存性能下降。此为现有技术的不足之处。

发明内容

本发明的目的在于，针对上述现有技术存在的缺陷，提供一种可降低跨节点访存延时的NUMA系统构建方法，以解决上述技术问题。

为了达到上述目的，本发明提供的技术方案是：

一种可降低跨节点访存延时的NUMA系统构建方法，其特征在于，包括以下过程：

过程A：系统划分成若干节点，每个节点由同样数量的处理器和两个CC组成，每个处理器通过互连总线端口与节点内的其他处理器和CC进行通信；

过程B：对每个处理器的地址译码器进行独立配置，将节点内的两个处理器协同芯片CC分别映射到完全相同的节点外内存空间，每个节点内的两个CC分别在系统地址空间中各自代理两个不同的平面，每个CC和与之直连的处理器构成其中一个平面，整个系统按照位置关系划分为上、下两个平面；

过程C：在节点间建立平面间的交叉互连关系；

过程D：通过上述地址映射和物理互连的方法，实现系统中任意处理器跨节点访存时需要的报文路由转发路径长度为3跳。

进一步的，对系统中的各处理器CPU的内存地址译码器进行独立配置，配置方式为根据其所属平面，将除本节点之外的全部内存地址空间均映射到同平面内与之直连的CC上。

进一步的， NUMA系统节点内，处理器进行跨节点访存时只与同平面CC进行通信，与非直连的CC分属不同平面，两者之间没有通信行为；NUMA节点间，所有节点的CC全部直连，上、下平面间可交叉通信，任意一个节点的任意一个CC，无论属于哪一个平面，其始终与系统中其他节点中两个平面的CC都保持直连关系；任意一个CC既可以与其他节点同平面内的CC通信，也可以与其他节点不同平面的CC通信。