[发明专利]一种硬件重构系统及方法

说明书

本发明公开了一种硬件重构系统及方法，本发明可以通过PCIe多总线和交叉开关技术将GPU、FPGA、GPU、IPU、SSD等计算和存储资源从服务器中解耦出来，并实现异构计算和存储资源池的池内互联、池间互联等层次化的互联。通过基于池内和远程PCIe交叉开关的配置提供标准PCIe计算资源的连接重构能力。通过PCIe交换机制的引入，充分利用PCIe通信的可扩展性及性能优势，可以创建性价比高的高可用性系统，可支持大部分异构设备，通用性更强，并且可以减少数据传输延迟、系统复杂性和功耗。

技术领域

本发明涉及计算机技术领域，特别是涉及一种硬件重构系统及方法。

背景技术

目前海量节点服务器使用过程中，存在服务器的各部件资源(CPU、内存、磁盘、SSD、网络IO、GPU、FPGA等)的利用率不均衡造成的资源浪费和能源浪费，以及这些部件资源各自升级换代周期不同造成的服务器硬件频繁升级导致的高成本费用。国内数据中心服务器的各硬件资源间大多通过以太网连接存在协议臃肿，功耗高的问题，而InfiniBand等连接又需要专用设备，设备依赖性强。百度、腾讯、华为等企业开始以服务器计算、存储、传输等部件资源的解耦与池化为方向进行架构研究，包括池化存储服务、异构计算资源(FPGA、GPU、CPU、IPU)池化服务等。但是目前基于PCIe硬件资源池化仅局限于整机层次，且还在探索，没有形成标准。且仅利用PCIe扩展能力，忽视了其在通信和重构调度的优势。

发明内容

本发明提供了一种硬件重构系统及方法，以解决现有技术硬件重构中对各个部件的利用率不均衡的问题。

一方面，本发明提供了一种硬件重构系统包括：

每个资源池与临近的资源池之间，基于远程PCIe交叉开关的多路接口连接，资源池内基于PCIe交叉开关的多路接口连接，远程PCIe交叉开关与资源池内的PCIe交叉开关，通过共享接口连在一起，形成基于PCIe交叉开关和远程PCIe交叉开关的双层交叉开关配置链路；

其中，所述资源池包括计算资源池和/或存储资源池，资源池内各处理器通过资源池内部的PCIe交叉开关进行互联，在进行连接配置时，通过配置信息配置资源池内部的PCIe交叉开关连接关系，为CPU的指定PCIe总线分配资源池内部的计算和存储资源，实现计算资源池、存储资源池内处理器之间的直接连接，支持计算资源和存储资源动态按需分配；

所述远程PCIe交叉开关通过共享接口与各资源池互联，实现基于PCIe协议的资源池之间点对点的对等交换，在进行连接配置时，通过配置信息配置远程PCIe交叉开关连接关系，为CPU的指定PCIe总线分配相邻资源池的处理器资源，进行资源池间的计算和存储资源动态分配。

优选地，所述共享接口支持透明桥和非透明桥两种接口模式，均可被配置为主端口或从端口，通过PCIe共享接口线缆实现端口间互联。

优选地，所述资源池内的PCIe交叉开关以PCIe交换底板实现，PCIe交换底板包括多路PCIe总线插槽和PCIe交换芯片。

优选地，所述远程PCIe交叉开关以PCIe交换机实现，实现资源池间的点对点交换方式，包括以下中的一种或多种：包交换、电路交换和虚拟通道交换。

优选地，所述虚拟通道交换，用于通过虚拟通道组成多个可共享同一个物理通道的虚拟电路交换连接，且虚拟电路交换连接可以与包交换连接和电路交换连接配合来传输流数据。

优选地，还包括编译器；所述编译器，用于根据已知的核间流通信情况，为每条已知流通信分配路径，并确定虚拟电路交换连接、电路交换连接和包交换连接，在运行时根据通信编译结果，通过预存的连接信息建立各交换连接，不同资源池之间的通信在各自对应的交换连接上进行传输。

优选地，所述远程PCIe交叉开关包括多个输入单元，一个交叉开关跨越单元，路径计算单元，虚拟通道分配单元、交叉开关分配单元和电路配置单元；