[发明专利]用于对物理内存池进行分配管理的方法及装置、物理内存池

说明书

本说明书实施例提供了一种用于对物理内存池进行分配管理的方法及装置、物理内存池。物理内存池由系统中的GPU显存和其他物理内存构成，物理内存池的管理结构信息包括已释放内存对象集和已分配内存对象集，已释放内存对象集包括物理内存池中经过分配后当前已释放的空闲内存对象，已分配内存对象集包括物理内存池中已分配且当前在使用的内存对象。在该方法中，响应于请求指定容量的内存，在已释放内存对象集中查询是否存在指定容量的内存对象；若存在，对所查询到的指定容量的内存对象进行分配；以及将所分配的内存对象从已释放内存对象集中删除，并增加至已分配内存对象集。

技术领域

本说明书实施例涉及计算机技术领域，具体地，涉及一种用于对物理内存池进行分配管理的方法及装置、物理内存池。

背景技术

GPU是一种广泛使用的能够减少对CPU依赖、并进行部分原本CPU工作的微处理器，并且具有高性能计算加速特点，广泛用于AI、深度学习的训练和在线服务。GPU在应用程序运行过程中，大多数的功能任务都运行在GPU上，尤其是需要强大算力支撑的功能任务。

当应用程序在GPU上运行时，GPU为其分配所需的GPU显存。应用程序在运行过程中可能涉及有若干个功能任务。针对每个功能任务，GPU从显存中为该功能任务分配一个内存对象以用于功能任务的运行。在功能任务完成后，GPU再将所分配的内存对象释放至GPU的显存中，以增加GPU的显存中的可用显存容量。后续的功能任务再执行从显存中动态分配内存对象、再释放内存对象至显存中的操作。

发明内容

鉴于上述，本说明书实施例提供了一种用于对物理内存池进行分配管理的方法及装置、物理内存池。在分配管理方案中，利用由GPU显存和其他物理内存构成的物理内存池分配内存，实现了为内存请求对象提供更大容量的物理内存，避免了GPU显存容量不足的限制。此外，已释放内存对象集用来保存物理内存中经过分配后当前已释放的空闲内存对象，便于复用内存对象，减少了频繁地执行从显存中动态分配内存对象、再释放内存对象至显存中的内存操作，从而减少了因为频繁地内存操作导致的性能消耗。

根据本说明书实施例的一个方面，提供了一种用于对物理内存池进行分配管理的方法，其中，所述物理内存池由系统中的GPU显存和其他物理内存构成，所述物理内存池的管理结构信息包括已释放内存对象集和已分配内存对象集，其中，所述已释放内存对象集包括所述物理内存池中经过分配后当前已释放的空闲内存对象，所述已分配内存对象集包括所述物理内存池中已分配且当前在使用的内存对象，所述方法包括：响应于请求指定容量的内存，在所述已释放内存对象集中查询是否存在所述指定容量的内存对象；若存在，对所查询到的所述指定容量的内存对象进行分配；以及将所分配的内存对象从所述已释放内存对象集中删除，并增加至所述已分配内存对象集。

根据本说明书实施例的另一方面，还提供一种用于对物理内存池进行分配管理的装置，其中，所述物理内存池由系统中的GPU显存和其他物理内存构成，所述物理内存池的管理结构信息包括已释放内存对象集和已分配内存对象集，其中，所述已释放内存对象集包括所述物理内存池中经过分配后当前已释放的空闲内存对象，所述已分配内存对象集包括所述物理内存池中已分配且当前在使用的内存对象，所述装置包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现：响应于请求指定容量的内存，在所述已释放内存对象集中查询是否存在所述指定容量的内存对象；若存在，对所查询到的所述指定容量的内存对象进行分配；以及将所分配的内存对象从所述已释放内存对象集中删除，并增加至所述已分配内存对象集。

根据本说明书实施例的另一方面，还提供一种物理内存池，包括系统中的GPU显存和其他物理内存，所述物理内存池的管理结构信息包括已释放内存对象集和已分配内存对象集，其中，所述已释放内存对象集包括所述物理内存池中经过分配后当前已释放的空闲内存对象，所述已分配内存对象集包括所述物理内存池中已分配且当前在使用的内存对象。