[发明专利]操作方法和电子装置

权利要求书

1.一种操作方法，包括：

将要在加速器中执行的模型划分为多个级；

针对所述多个级中的每个级，确定在加速器的片上存储器中能够处理的最大批大小；以及

将确定的最大批大小确定为将应用于模型的候选批大小，以及

将确定的候选批大小之中的使在加速器中执行模型的计算成本与存储器访问成本之和最小化的候选批大小确定为将应用于模型的最终批大小。

2.根据权利要求1所述的操作方法，其中，存储器访问成本基于模型的权重的存储器访问成本、模型的中间特征图的存储器访问成本、模型的总的批大小、将从其计算存储器访问成本的候选批大小、以及加速器的片外存储器的带宽来确定。

3.根据权利要求2所述的操作方法，其中，存储器访问成本是用于访问加速器的片外存储器的成本。

4.根据权利要求2所述的操作方法，其中，在所述多个级之中的具有小于将从其计算存储器访问成本的候选批大小的最大批大小的级中，发生中间特征图的存储器访问成本。

5.根据权利要求4所述的操作方法，其中，中间特征图的存储器访问成本基于在所述级中发生的中间特征图的一次性存储器访问成本、将从其计算存储器访问成本的候选批大小、以及针对所述级确定的最大批大小来确定。

6.根据权利要求2所述的操作方法，其中，权重的存储器访问成本是将应用于模型的权重的一次性存储器访问成本。

7.根据权利要求1所述的操作方法，其中，计算成本基于加速器处理所述多个级中的每个级所使用的计算时间、将从其计算计算成本的候选批大小、以及模型的总的批大小来确定。

8.根据权利要求1所述的操作方法，其中，计算成本基于在处理模型的总的批大小时将由模型执行的迭代次数以及与所述多个级对应的多个任务处理候选批大小所使用的净计算时间的总和来确定。

9.根据权利要求1至权利要求8中的任意一项所述的操作方法，其中，针对所述多个级中的每个级确定最大批大小的步骤包括：

基于每个级的权重的大小、输入特征图的大小、输出特征图的大小以及片上存储器的大小来确定最大批大小。

10.根据权利要求1至权利要求8中的任意一项所述的操作方法，其中，划分的步骤包括：

以包括在加速器中的处理元件一次能够处理的计算为单位或者以包括在模型中的层为单位将模型划分为所述多个级。

11.根据权利要求1至权利要求8中的任意一项所述的操作方法，还包括：

基于最终批大小来生成用于在加速器中执行模型的指令集。

12.根据权利要求11所述的操作方法，还包括：在所述多个级中，基于指令集处理与最终批大小相关联的多个输入，最终批大小是相同地应用于所述多个级的公共批大小。

13.根据权利要求1至权利要求8中的任意一项所述的操作方法，其中，模型是神经网络模型，并且所述多个级中的每个级对应于神经网络的一个或多个层。

14.一种操作方法，包括：

接收将在加速器中执行的模型的指令集；以及

基于指令集在包括在模型中的多个级中处理与相同地应用于所述多个级的公共批大小相关联的多个输入，

其中，在所述多个级之中，具有小于公共批大小的在加速器的片上存储器中能够处理的最大批大小的级被迭代地执行，并且与公共批大小相关联的中间特征图被发送到所述级的随后的级。

15.根据权利要求14所述的操作方法，其中，响应于将在模型中处理的总的批大小大于公共批大小，所述多个级被迭代地执行，并且与所述总的批大小相关联的输入被处理。