[发明专利]处理单元、加速单元、相关装置和方法

说明书

本公开提供了一种处理单元、加速单元、相关装置和方法。该处理单元包括：取指令单元；指令译码单元；指令执行单元，用于实现：基于译码后的多个深度网络模型指令和编译参数指令生成加速单元模型指令和执行计划，所述执行计划反映了各加速单元模型指令的执行顺序和各加速单元模型指令向多个虚拟核的分配；获取译码后的推理命令用的加速单元模型指令和执行计划，获取加速单元中物理核的负载状况，根据所述负载状况进行所述虚拟核到物理核的映射，按照所述执行计划和所述映射将加速单元模型指令加载到物理核。本公开实施例提高了需要运行多个深度神经网络模型的应用场景中运行多个深度神经网络模型的效率，节省了带宽。

技术领域

本公开涉及芯片领域，更具体而言，涉及一种处理单元、加速单元、相关装置和方法。

背景技术

在深度神经网络的应用中，有些应用场景比较复杂，需要部署多种不同类型的深度神经网络模型。有时还会使用同一个深度神经网络模型做不同数据类型的训练，产生多个用于不同目的的深度神经网络模型。这些模型有不同的权重，在计算上可以视为不同的深度神经网络模型。对于这种需要运行很多个深度神经网络模型完成一个任务的应用，现有技术中，需要多个深度神经网络模型轮流执行。即，执行完一个模型，再载入另外一个模型。当执行的批数小的时候，这种方法中，深度神经网络模型之间的轮换导致带宽需求明显增加。

发明内容

有鉴于此，本公开旨在提高需要运行多个深度神经网络模型的应用场景中运行多个深度神经网络模型的效率，节省带宽。

根据本公开的一方面，提供了一种处理单元，包括：

取指令单元，用于从所述处理单元外部的存储器取回计算机指令；

指令译码单元，用于对取回的计算机指令进行译码；

指令执行单元，用于执行译码后的所述计算机指令，以实现：

基于译码后的多个深度网络模型指令和编译参数指令生成加速单元模型指令和执行计划，所述执行计划反映了各加速单元模型指令的执行顺序和各加速单元模型指令向多个虚拟核的分配；

获取译码后的推理命令用的加速单元模型指令和执行计划，获取加速单元中物理核的负载状况，根据所述负载状况进行所述虚拟核到物理核的映射，按照所述执行计划和所述映射将加速单元模型指令加载到物理核。

可选地，所述编译参数指令至少包括要使用的核数量、所述多个深度网络模型的依赖关系；所述基于所述多个深度网络模型指令和编译参数指令生成加速单元模型指令和执行计划，包括：生成各深度网络模型指令对应的加速单元模型指令；根据所述依赖关系和所述要使用的核数量，确定所述多个深度网络模型的执行批次；根据同一批次的深度网络模型的存储占用量和计算量，将同一批次的深度网络模型向所述多个虚拟核分配；根据确定的所述多个深度网络模型的执行批次和同一批次的深度网络模型向所述多个虚拟核的分配，生成所述执行计划。

可选地，所述根据同一批次的深度网络模型的存储占用量和计算量，将同一批次的深度网络模型向所述多个虚拟核分配，包括：

根据深度网络模型指令，确定深度网络模型的权重存储占用量；

根据深度网络模型指令，确定深度网络模型的输入张量、中间张量、输出张量的张量存储占用量；

根据深度网络模型指令，确定深度网络模型的计算量；

按照所述深度网络模型的权重存储占用量和张量存储占用量的总和、以及所述深度网络模型的计算量，将同一批次的深度网络模型向所述多个虚拟核分配。

可选地，所述按照所述深度网络模型的权重存储占用量和张量存储占用量的总和、以及所述深度网络模型的计算量，将同一批次的深度网络模型向所述多个虚拟核分配，是按照所述总和在分配的虚拟核上均衡、所述计算量在分配的虚拟核上均衡的方式进行的。