[发明专利]处理单元、加速单元、相关装置和方法

权利要求书

1.一种处理单元，包括：

取指令单元，用于从所述处理单元外部的存储器取回计算机指令；

指令译码单元，用于对取回的计算机指令进行译码；

指令执行单元，用于执行译码后的所述计算机指令，以实现：

基于译码后的多个深度网络模型指令和编译参数指令生成加速单元模型指令和执行计划，所述执行计划反映了各加速单元模型指令的执行顺序和各加速单元模型指令向多个虚拟核的分配；

获取译码后的推理命令用的加速单元模型指令和执行计划，获取加速单元中物理核的负载状况，根据所述负载状况进行所述虚拟核到物理核的映射，按照所述执行计划和所述映射将加速单元模型指令加载到物理核。

2.根据权利要求1所述的处理单元，其中，所述编译参数指令至少包括要使用的核数量、所述多个深度网络模型的依赖关系；

所述基于所述多个深度网络模型指令和编译参数指令生成加速单元模型指令和执行计划，包括：

生成各深度网络模型指令对应的加速单元模型指令；

根据所述依赖关系和所述要使用的核数量，确定所述多个深度网络模型的执行批次；

根据同一批次的深度网络模型的存储占用量和计算量，将同一批次的深度网络模型向所述多个虚拟核分配；

根据确定的所述多个深度网络模型的执行批次和同一批次的深度网络模型向所述多个虚拟核的分配，生成所述执行计划。

3.根据权利要求2所述的处理单元，其中，所述根据同一批次的深度网络模型的存储占用量和计算量，将同一批次的深度网络模型向所述多个虚拟核分配，包括：

根据深度网络模型指令，确定深度网络模型的权重存储占用量；

根据深度网络模型指令，确定深度网络模型的输入张量、中间张量、输出张量的张量存储占用量；

根据深度网络模型指令，确定深度网络模型的计算量；

按照所述深度网络模型的权重存储占用量和张量存储占用量的总和、以及所述深度网络模型的计算量，将同一批次的深度网络模型向所述多个虚拟核分配。

4.根据权利要求3所述的处理单元，其中，所述按照所述深度网络模型的权重存储占用量和张量存储占用量的总和、以及所述深度网络模型的计算量，将同一批次的深度网络模型向所述多个虚拟核分配，是按照所述总和在分配的虚拟核上均衡、所述计算量在分配的虚拟核上均衡的方式进行的。

5.根据权利要求1所述的处理单元，其中，所述基于译码后的多个深度网络模型指令和编译参数指令生成加速单元模型指令和执行计划，是响应于接收到译码后的多个深度网络模型指令和编译参数指令执行的，生成的加速单元模型指令和执行计划存储到所述处理单元之外的存储器；

所述译码后的推理命令用的加速单元模型指令和执行计划是响应于接收到译码后的推理命令而从所述存储器获取的。

6.根据权利要求1所述的处理单元，其中，所述基于译码后的多个深度网络模型指令和编译参数指令生成加速单元模型指令和执行计划，是响应于同时接收到译码后的多个深度网络模型指令、编译参数指令和推理命令执行的。

7.根据权利要求1所述的处理单元，其中，如果所述执行计划中，为所述加速单元模型指令分配了M个虚拟核，所述根据所述负载状况进行所述虚拟核到物理核的映射，包括：

选取所述负载状况最小的M个物理核，作为所述加速单元模型指令加载到的物理核。

8.根据权利要求1所述的处理单元，其中，在按照所述执行计划和所述映射将加速单元模型指令加载到物理核之后，所述指令执行单元执行译码后的所述计算机指令，以实现：

按照所述执行计划和所述映射将所述推理命令用的输入张量加载到物理核；

从物理核接收所述物理核根据所述输入张量、和加速单元模型指令中的权重运算出的运算结果。