[发明专利]显存分配处理方法、装置、设备及系统

权利要求书

1.一种显存分配处理方法，所述方法包括：

获取待部署模型的模型参数集合；

对获取到的各个所述模型参数集合进行哈希运算，获得各个模型参数集合的参数哈希值；

依次将各个模型参数集合的参数哈希值与显存映射表进行匹配，以确定所述待部署模型的各个所述模型参数集合是否与所述显存映射表中的已部署模型参数相同；所述显存映射表中包括多个已部署模型参数的参数哈希值以及所述已部署模型参数对应的物理显存地址；

若确定所述模型参数集合与所述显存映射表中的已部署模型参数相同，则向所述模型参数集合分配虚拟显存指针，并将与所述模型参数集合相同的已部署模型参数的物理显存地址映射到所述虚拟显存指针上。

2.如权利要求1所述的方法，所述方法还包括：

若确定所述模型参数集合与所述显存映射表中的所有已部署模型参数均不同，则向所述模型参数分配虚拟显存指针和物理显存地址；

将所述模型参数集合中的模型参数传输至对应的物理显存地址处，并将所述模型参数集合分配的物理显存地址映射到对应的虚拟显存上。

3.如权利要求2所述的方法，所述方法还包括：

将所述模型参数集合的参数哈希值、物理显存地址添加到所述显存映射表中。

4.如权利要求1所述的方法，所述获取待部署模型的模型参数集合包括：

依次获取所述待部署模型的每一层级的模型参数，将每一层级的模型参数的集合作为一个模型参数集合；

或，依次获取所述待部署模型连续预设层级的模型参数，将连续预设层级的模型参数的集合作为一个模型参数集合。

5.如权利要求1所述的方法，所述获取待部署模型的模型参数集合包括：

计算所述待部署模型指定范围内的模型参数的参数大小，若所述参数大小小于预设阈值，则将所述指定范围相邻的模型参数添加到所述指定范围内，计算新的指定范围内的模型参数的参数大小，直至参数大小大于所述预设阈值时，将对应的指定范围内的模型参数作为一个模型参数集合。

6.如权利要求1所述的方法，所述显存映射表中还包括已部署模型参数的参数大小，所述依次将各个模型参数集合的参数哈希值与显存映射表进行匹配，以确定所述待部署模型的各个所述模型参数集合是否与所述显存映射表中的已部署模型参数相同，包括：

依次将各个模型参数集合的参数哈希值与显存映射表进行匹配，若所述模型参数集合的参数哈希值与所述显存映射表中的目标已部署模型参数的参数哈希值相同，则将所述模型参数集合的参数大小与所述目标已部署模型参数的参数大小进行比较，若所述模型参数集合的参数大小与所述目标已部署模型参数的参数大小相同，则确定所述模型参数集合与所述目标已部署模型参数相同。

7.如权利要求6所述的方法，所述方法还包括：

在确定所述模型参数集合的参数大小与所述目标已部署模型参数的参数大小相同后，则将所述模型参数集合中的模型参数与所述目标已部署模型参数进行逐字节比对，若所述模型参数集合中的模型参数与所述目标已部署模型参数的字节均相同，则确定所述模型参数集合与所述目标已部署模型参数相同。

8.如权利要求1所述的方法，所述显存映射表中还包括已部署模型参数的显存编号，所述依次将各个模型参数集合的参数哈希值与显存映射表进行匹配，以确所述待部署模型的各个所述模型参数集合是否与所述显存映射表中的已部署模型参数相同，包括：

依次将各个模型参数集合的参数哈希值与显存映射表进行匹配，若所述模型参数集合的参数哈希值与所述显存映射表中的目标已部署模型参数的参数哈希值相同，则将所述模型参数集合对应的显存编号与所述目标已部署模型参数对应的显存编号进行比较，若显存编号相同，则确定所述模型参数集合与所述目标已部署模型参数相同。

9.如权利要求1所述的方法，所述待部署模型位于不同线程或不同进程或不同容器中。