[发明专利]GPU集群共享显存系统、方法、装置及设备

说明书

本申请公开了GPU集群共享显存方法、装置、系统及设备。其中，所述方法包括：根据运行在第一计算节点上的目标应用的GPU集群全局虚拟显存地址空间，确定目标应用的GPU集群全局显存地址映射信息；在目标应用访问GPU显存发生缺页异常时，根据目标应用的全局显存地址映射信息，确定目标页面数据所在的第二计算节点；将第二计算节点中的目标页面数据调入至第一计算节点的GPU显存，目标应用从第一计算节点的GPU显存中读取目标页面数据。采用这种处理方式，使得从GPU集群系统层面对显存资源进行“聚合”，在面对高显存资源需求的大负载时，为分布式的GPU集群提供统一的GPU显存地址空间与单一的编程视图，避免显式管理数据搬移及通信，简化GPU集群系统编程。

技术领域

本申请涉及显存管理技术领域，具体涉及GPU集群共享显存系统、方法及装置，软件编辑器，以及电子设备。

背景技术

高算力的图形处理单元(Graphics Processing Unit，GPU)集群承载着企业内诸多关键智能计算业务，已成为AI深度学习训练、海量数据分析、大规模科学计算等高端应用的坚实底座。这些应用所使用的软件框架多是分布式架构，如机器学习平台TensorFlow等。在单个GPU显存资源有限的情况下，GPU集群要支持更高显存资源需求的大负载应用，就需要共享GPU显存。

目前，一种典型的GPU集群共享显存方式是，编程模型上是分布式的或者并行的视角，开发人员在编写应用程序代码时显式管理不同计算节点间的显存数据的搬移及通信，采用客户端/服务器架构，通过远程过程调用RPC的方式为本地计算节点提供GPU访问，通过劫持GPU运行时API的方式来实现“共享显存”的效果。

然而，在实现本发明过程中，发明人发现上述技术方案至少存在如下问题：共享显存性能较低，开发人员工作量较大。发明人通过研究发现产生该问题的原因在于：上述技术方案实现的效果并非“显存资源聚合”，而是“显存资源池化”的效果，其能够提供的虚拟显存上限仍旧受限于真实单个物理GPU的配置，无法直接支持高显存资源需求的大负载。在这种情况下，要想支持高显存资源需求的大负载，就需要应用开发人员在编写应用代码时，显式管理数据搬移及通信，如通过MPI、Socket等网络通信接口进行多机之间的GPU数据管理，因此导致显存共享过程较为繁琐，从而降低显存共享性能，还会导致GPU集群系统编程较为复杂，给开发人员带来更多的工作量。

综上所述，如何提供不受限于真实单个物理GPU的配置的“GPU集群全局大GPU”虚拟显存，直接支持高显存资源需求的大负载，以提升显存共享性能，简化GPU集群系统编程，成为本领域技术人员急需解决的问题。

发明内容

本申请提供GPU集群共享显存系统，以解决现有技术存在的在GPU集群跨计算节点支持高显存资源需求的大负载时共享显存性能较低、GPU集群系统编程复杂等问题。本申请另外提供GPU集群共享显存方法和装置，软件编辑器，以及电子设备。

本申请提供一种GPU集群共享显存系统，其特征在于，包括：

应用开发装置，用于以GPU集群全局虚拟显存地址空间为编程视图，确定目标应用使用GPU集群全局虚拟显存资源的程序代码，所述程序代码不包括在不同计算节点间传输显存数据的代码；

应用运行装置，部署在第一计算节点上，用于根据为目标应用分配的全局虚拟显存地址空间，确定目标应用的GPU集群全局显存地址映射信息；在目标应用访问GPU显存发生缺页异常时，根据所述全局显存地址映射信息，确定目标页面数据所在的第二计算节点；将第二计算节点中的目标页面数据调入至第一计算节点的GPU显存，目标应用从第一计算节点的GPU显存中读取目标页面数据。

本申请还提供一种软件编辑器，用于以GPU集群全局虚拟显存地址空间为编程视图，确定目标应用使用GPU集群全局虚拟显存资源的程序代码，所述程序代码不包括在不同计算节点间传输显存数据的代码；