[发明专利]人工智能加速器、设备、芯片及数据处理方法

权利要求书

1.一种人工智能加速器，其特征在于，所述人工智能加速器具备第一加速并行度和第二加速并行度，所述第二加速并行度用于指示所述人工智能加速器每次执行并行处理时在深度方向上的处理数据量；所述人工智能加速器包括控制单元、计算引擎、分组控制单元及分组缓存单元；所述分组缓存单元按照所述第一加速并行度设有多个输出缓存；

所述控制单元，用于解析神经网络模型中的目标网络层的处理指令，得到并发指令；所述目标网络层为所述神经网络模型中的任一网络层，所述目标网络层的输入数据集合中包括多个输入数据块，所述输入数据块的深度是按照所述第二加速并行度进行适配处理得到的，每个输入数据块的深度小于或等于所述第二加速并行度；

所述计算引擎，用于按照所述并发指令对所述输入数据集合中的目标输入数据块执行并行处理，得到所述目标输入数据块对应的目标输出数据；所述目标输入数据块为所述输入数据集合中的任一个输入数据块；

所述分组控制单元，用于将所述目标输出数据分组存储至所述分组缓存单元的至少一个输出缓存中。

2.如权利要求1所述的人工智能加速器，其特征在于，所述控制单元还用于解析所述目标网络层的处理指令，得到搬移指令；

所述人工智能加速器还包括：

全量存储单元，用于存储所述目标网络层的输入数据集合和所述目标网络层的输出数据集合，所述输出数据集合中包含所述多个输入数据块分别对应的输出数据；

搬移引擎，用于按照所述控制单元解析得到的搬移指令在所述全量存储单元和所述分组缓存单元之间执行数据的搬移操作。

3.如权利要求2所述的人工智能加速器，其特征在于，所述搬移指令包括：加载搬移指令或存储搬移指令；

所述搬移引擎接收所述控制单元发送的加载搬移指令，并按照所述加载搬移指令将所述全量存储单元中的输入数据块搬移至所述分组缓存单元；或者，

所述搬移引擎接收所述控制单元发送的存储搬移指令，并按照所述存储搬移指令将所述分组缓存单元中缓存的输出数据搬移至所述全量存储单元。

4.如权利要求3所述的人工智能加速器，其特征在于，所述第一加速并行度用于指示所述人工智能加速器每次执行并行处理时所使用的运算函数的数量；

所述目标网络层具备第一运算并行度和第二运算并行度；所述第一运算并行度用于指示所述目标网络层所包括的运算函数的数量，所述第二运算并行度用于指示所述目标网络层每次执行并行处理时在深度方向上的处理数据量；

其中，所述第一加速并行度采用N表示，所述第一运算并行度采用M表示；M和N均为正整数。

5.如权利要求4所述的人工智能加速器，其特征在于，若所述第一运算并行度大于所述第一加速并行度，则所述计算引擎将所述目标网络层中的运算函数拆分成P个函数组，并按照所述并发指令依次调用各函数组中的运算函数对所述目标输入数据块执行并行处理；其中，P根据M和N的比值确定。

6.如权利要求5所述的人工智能加速器，其特征在于，所述分组缓存单元包括输入缓存；所述目标输入数据块独立使用一个加载搬移指令、一个并发指令和一个存储搬移指令；

所述搬移引擎按照所述目标输入数据块对应的加载搬移指令，将所述目标输入数据块从所述全量存储单元中搬移至所述分组缓存单元的输入缓存中；

所述计算引擎通过所述分组控制单元从所述输入缓存中读取所述目标输入数据块，并按照所述目标输入数据块对应的并发指令对所述目标输入数据块执行并行处理，得到所述目标输入数据块对应的目标输出数据；

所述分组控制单元将所述目标输出数据分组存储至所述分组缓存单元的至少一个输出缓存中；

所述搬移引擎按照所述目标输入数据块对应的存储搬移指令，将所述至少一个输出缓存中的所述目标输出数据搬移至所述全量存储单元。

7.如权利要求5所述的人工智能加速器，其特征在于，所述目标输出数据的数量为M个，且所述M个目标输出数据被划分成P个分组，每个分组包括N个目标输出数据；

所述分组控制单元将每个分组中第n个目标输出数据存储至所述分组缓存单元的第n个输出缓存中，n∈[1，N]。