[发明专利]一种提升GPU服务器的性能的方法、设备及可读介质

说明书

本发明公开了一种提升GPU服务器的性能的方法，包括以下步骤：在NVME目标节点上部署存储性能开发工具；基于NVME目标节点中的NVME硬盘创建两组RAID0(没有奇偶校验的条带)，将两组RAID0映射到GPU服务器上，并通过存储性能开发工具将NVME硬盘映射到GPU服务器上；以及在GPU服务器上部署并行文件系统，将映射的NVME硬盘和映射的两组RAID0组合成统一的目录。本发明还公开了一种计算机设备和可读存储介质。本发明提出的提升GPU服务器的性能的方法及装置将NVME硬件映射到GPU服务器上面，可以极大的降低成本跟提升GPU服务器的读写性能。

技术领域

本发明涉及服务器领域，更具体地，特别是指一种提升GPU服务器的性能的方法、设备及可读介质。

背景技术

目前在AI(Artificial Intelligence，人工智能)场景中，当训练集规模达到PB(存储单位，1PB＝1024TB，1TB＝1024GB)级别以上时，不得不把训练集数据存储在本地的机械硬盘或者远端存储上，在训练过程中影响训练的性能。当需要多台GPU(GraphicsProcessing Unit，图形处理器)服务器共同完成同一个训练任务时，为了得到较高的存储性能和提供统一的目录，目前主流的方案都需要NVME(Non-Volatile Memory Express，非易失性高速传输总线)全闪存磁盘阵列来实现。如果采用基于NVME技术的全闪存阵列，成本高昂，当NVME协议更新后，全闪存阵列无法及时应用新技术来提升性能，改善功能及稳定性，造成硬件资源的极大浪费。

另外，SPDK(Storage performance development kit，存储性能开发工具)配合现有的Linux的multipath(多路径)技术，无法充分发挥底层NVME的性能。基于SPDK的存储硬件假设有200GB/s带宽，配置两块100GB/s的EDR网卡，通过现有的multipath技术，最多只能发挥到150GB/s，性能浪费了1/4。

发明内容

有鉴于此，本发明实施例的目的在于提出一种提升GPU服务器的性能的方法及装置，主要是通过存储性能开发工具将NVME硬盘映射到GPU服务器上，并将NVME硬盘创建的两组RAID0也映射到GPU服务器上，将映射的NVME硬盘和映射的两组RAID0组合成统一的目录，从而大大降低成本并且提升GPU服务器的读写性能。

基于上述目的，本发明实施例的一方面提供了一种提升GPU服务器的性能的方法，包括如下步骤：在NVME目标节点上部署存储性能开发工具；基于所述NVME目标节点中的NVME硬盘创建两组RAID0，将所述两组RAID0映射到所述GPU服务器上，并通过所述存储性能开发工具将所述NVME硬盘映射到GPU服务器上；以及在所述GPU服务器上部署并行文件系统，并将映射的NVME硬盘和映射的两组RAID0组合成统一的目录。

在一些实施方式中，基于所述NVME目标节点中的NVME硬盘创建两组RAID0，将所述两组RAID0映射到所述GPU服务器上进一步包括：将所述两组RAID0虚拟成多组RAID0，并将虚拟后的多组RAID0分配到多个所述GPU服务器上。

在一些实施方式中，基于所述NVME目标节点中的NVME硬盘创建两组RAID0包括：将所述两组RAID0分别绑定到两个独立的网卡上。

在一些实施方式中，在GPU服务器上部署并行文件系统包括：将所述两组RAID0分别设置为并行文件系统中的元数据目标设备和对象存储目标设备。

在一些实施方式中，还包括：在所述GPU服务器上挂载NVME RAID硬盘。