[发明专利]具有多个处理器和神经网络加速器的神经网络处理系统

权利要求书

1.一种神经网络处理系统，包括：

共享存储器；

至少一个神经网络加速器，耦合到所述共享存储器，并且被配置为对输入数据集执行神经网络的第一层子集的操作，生成中间数据集，并且将所述中间数据集存储在所述共享存储器中的共享存储器队列中；

主机计算机系统，耦合到所述共享存储器并且具有第一处理器元件和第二处理器元件，其中：

所述第一处理器元件被配置为执行引起所述第一处理器元件执行包括以下各项的操作的指令：

向所述至少一个神经网络加速器提供输入数据；以及

发信号通知所述至少一个神经网络加速器对所述输入数据集执行所述神经网络的所述第一层子集的所述操作；以及

所述第二处理器元件被配置为执行引起所述第二处理器元件执行包括以下各项的操作的指令：

从所述共享存储器队列中读取所述中间数据集；以及

在所述神经网络加速器对另一输入数据集执行所述神经网络的所述第一层子集的所述操作的同时，对所述中间数据集执行所述神经网络的第二层子集的操作并且生成输出数据集。

2.根据权利要求1所述的神经网络处理系统，其中：

引起所述第一处理器元件向所述至少一个神经网络加速器提供所述输入数据的所述指令引起所述第一处理器元件在第一时间向所述至少一个神经网络加速器提供第一输入数据集，并且在所述第一时间之后的第二时间向所述至少一个神经网络加速器提供第二输入数据集；以及

引起所述第二处理器元件执行所述第二层子集的所述操作的所述指令包括：引起所述第二处理器元件与所述至少一个神经网络加速器对所述第二输入数据集执行所述神经网络的所述第一层子集的所述操作并行地对所述第一输入数据集执行所述第二层子集的所述操作的指令。

3.根据权利要求1所述的神经网络处理系统，其中：

引起所述第二处理器元件从所述共享存储器队列中读取所述中间数据集的指令包括：引起所述第二处理器元件在所述读取之后向所述第一处理器元件发信号通知所述共享存储器队列为空的指令。

4.根据权利要求3所述的神经网络处理系统，其中：

所述第一处理器元件还被配置为：执行引起所述第一处理器元件在所述至少一个神经网络加速器已经完成对所述输入数据执行所述神经网络的所述第一层子集时向所述第二处理器元件发信号通知所述共享存储器队列已满的指令；以及

所述第二处理器元件被配置为：执行引起所述第二处理器元件响应于来自所述第一处理器元件的所述信号而从所述共享存储器队列中读取所述中间数据集的指令。

5.根据权利要求1所述的神经网络处理系统，其中所述第一处理器元件还被配置为执行引起所述第一处理器元件将所述中间数据集从第一格式转换为第二格式的指令，或者其中所述第二处理器元件还被配置为执行引起所述第二处理器元件将所述中间数据集从第一格式转换为第二格式的指令。

6.根据权利要求1所述的神经网络处理系统，其中：

所述第一处理器元件还被配置为执行引起所述第一处理器元件执行以下操作的指令：

确定所述第一处理器元件或所述第二处理器元件中的哪个被分配被配置为执行转换；以及

响应于确定所述第一处理器元件被分配以执行所述转换，将所述中间数据集从所述第一格式转换为所述第二格式；

所述第二处理器元件还被配置为执行引起所述第二处理器元件执行以下操作的指令：

确定所述第一处理器元件或所述第二处理器元件中的哪个被分配被配置为执行所述转换；以及

响应于确定所述第二处理器元件被分配以执行所述转换，将所述中间数据集从所述第一格式转换为所述第二格式。

7.根据权利要求1所述的神经网络处理系统，其中所述第一层子集包括卷积层和最大池化层，并且所述第二层子集包括完全连接层。

8.根据权利要求7所述的神经网络处理系统，其中所述第二层子集包括柔性最大值层。