[发明专利]显存分配处理方法、装置、设备及系统

说明书

本说明书提供一种显存分配处理方法、装置、设备及系统，通过对智能学习模型中的模型参数进行哈希运算，通过比较模型参数的哈希值确定待部署模型的模型参数是否与已经部署的模型参数重复，若重复则不需要分配新的物理显存，利用虚拟指针的方式将重复的模型参数映射到对应的物理显存处，实现相同内容的共享，对于相同的模型参数不需要重复保存，实现了相同内容的数据共享，大大节省物理显存空间，进而可以实现在有限的显存空间内部署更多的实例，提升了系统性能。

技术领域

本说明书属于计算机技术领域，尤其涉及一种显存分配处理方法、装置、设备及系统。

背景技术

随着计算机互联网技术的发展，智能模型的应用场景越来越多，一般的，可以将训练好的智能模型部署在计算机上。而随着服务内容的增加，所需的智能模型也越来越多，越来越多的节点需要部署多个智能模型，每个模型都需要占用计算机的物理显存，而计算机物理显存的容量有限，因此，需要对计算机显存进行合理的分配管理。

发明内容

本说明书实施例的目的在于提供一种显存分配处理方法、装置、设备及系统，降低了显存空间的占用，提升了显存的利用率。

一方面，本说明书实施例提供了一种显存分配处理方法，所述方法包括：

获取待部署模型的模型参数集合；

对获取到的各个所述模型参数集合进行哈希运算，获得各个模型参数集合的参数哈希值；

依次将各个模型参数集合的参数哈希值与显存映射表进行匹配，以确定所述待部署模型的各个所述模型参数集合是否与所述显存映射表中的已部署模型参数相同；所述显存映射表中包括多个已部署模型参数的参数哈希值以及所述已部署模型参数对应的物理显存地址；

若确定所述模型参数集合与所述显存映射表中的已部署模型参数相同，则向所述模型参数集合分配虚拟显存指针，并将与所述模型参数集合相同的已部署模型参数的物理显存地址映射到所述虚拟显存指针上。

另一方面，本说明书提供了一种显存分配处理装置，所述装置包括：

参数获取模块，用于获取待部署模型的模型参数集合；

哈希运算模块，用于对获取到的各个所述模型参数集合进行哈希运算，获得各个模型参数集合的参数哈希值；

参数查重模块，用于依次将各个模型参数集合的参数哈希值与显存映射表进行匹配，以确所述待部署模型的各个所述模型参数集合是否与所述显存映射表中的已部署模型参数相同；所述显存映射表中包括多个已部署模型参数的参数哈希值以及所述已部署模型参数对应的物理显存地址；

显存分配模块，用于若确定所述模型参数集合与所述显存映射表中的已部署模型参数相同，则向所述模型参数集合分配虚拟显存指针，并将与所述模型参数集合相同的已部署模型参数的物理显存地址映射到所述虚拟显存指针上。

又一方面，本说明书实施例提供了一种显存分配处理设备，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述显存分配处理方法。

还一方面，本说明书实施例提供了一种显存分配处理系统，所述系统包括：多个图形处理器、全局模型参数管理模块，每个图形处理器中包括多个进程或容器，每个进程或容器中包括至少一个待部署模型，其中：

每个进程或容器内设置有进程间通信模块，所述全局参数管理模块用于执行上述显存分配处理方法，通过所述进程间通信模块查询各个待部署模型的模型参数是否有重复，以对多个图形处理器中部署的待部署模型分配显存。