[发明专利]具有多个处理器和神经网络加速器的神经网络处理系统

说明书

至少一个神经网络加速器(238)对输入数据集执行神经网络的第一层子集的操作，生成中间数据集，并且将中间数据集存储在共享存储器(612)中的共享存储器队列(614)中。主机计算机系统(402)的第一处理器元件(602)向神经网络加速器提供输入数据，并且发信号通知神经网络加速器对输入数据集执行神经网络的第一层子集的操作。主机计算机系统的第二处理器元件(604)从共享存储器队列中读取中间数据集，对中间数据集执行神经网络的第二层子集的操作，并且生成输出数据集，同时神经网络加速器正在对另一输入数据集执行神经网络的第一层子集的操作。

技术领域

本公开总体上涉及神经网络处理系统。

背景技术

机器学习是使计算系统无需明确编程即可采取行动的科学。经典机器学习包括各种聚类和分类技术，包括K均值聚类、线性和逻辑回归、随机梯度下降、关联规则学习等。深度学习是机器学习中一个较新的领域。深度学习是一类机器学习算法，它使用多层非线性处理单元进行特征提取和转换。深度学习算法可以是无监督的(例如，模式分析)或有监督的(例如，分类)。深度学习算法可以使用人工神经网络(ANN)(本文中称为“神经网络”)的层来实现。

通常，神经网络是在图中连接的节点(即，“神经元”)的集合。神经网络中的节点计算加权输入的总和，并且向总和添加可选偏差。节点的输出是最终总和的函数(称为“激活函数”)。示例激活函数包括S形函数、双曲正切(tanh)函数、整流线性单位(ReLU)函数和恒等函数。神经网络模型通常被组织为定义特定拓扑以及对应的权重和偏差的节点的层。权重和偏差称为网络参数。

通常，神经网络包括输入层和输出层，并且可以可选地在输入层与输出层之间包括一个或多个隐藏层。深度学习应用中使用的神经网络通常包括很多隐藏层，这引起了术语“深度神经网络(DNN)”的出现。神经网络的各层可以紧密连接(例如，一层中的每个节点完全连接到上一层中的所有节点)，也可以稀疏连接(例如，一层中的每个节点仅连接到上一层中的节点中的一部分节点)。卷积神经网络(CNN)是一种DNN，其包括一个或多个稀疏连接的层，称为卷积层。CNN非常适合于处理图像或视频数据。其他类型的DNN包括递归神经网络(RNN)，其非常适合处理语音和文本数据。

现场可编程门阵列(FPGA)已经用于实现对从软件调用的功能进行加速的电路。对从软件调用的功能进行加速的电路称为硬件加速器。硬件加速器的示例包括实现为可以从图像处理软件调用的FPGA电路的各种图像过滤器。为了使硬件加速器在具有执行发起硬件加速器的软件的主机计算机系统的系统中受益，由硬件加速器提供的性能改进应当大于在主机计算机系统与硬件加速器之间移动数据所涉及的处理开销。如果在主机计算机系统与硬件加速器之间移动数据所需要的时间比主机计算机系统而非硬件加速器执行操作所需要的时间多，则更好的实现方式可以包括不具有硬件加速器的主机计算机系统。同样，如果硬件加速器在等待主机计算机系统时处于空闲状态，则由硬件加速器提供的总体性能优势将降低。

发明内容

所公开的神经网络处理系统包括共享存储器、至少一个神经网络加速器、和主机计算机系统。神经网络加速器被配置为对输入数据集执行神经网络的第一层子集的操作，生成中间数据集，并且将中间数据集存储在共享存储器中的共享存储器队列中。主机计算机系统具有第一处理器元件和第二处理器元件。第一处理器元件被配置为执行引起第一处理器元件向神经网络加速器提供输入数据、并且发信号通知神经网络加速器对输入数据集执行神经网络的第一层子集的操作的指令。第二处理器元件被配置为执行引起第二处理器元件进行以下操作的指令：从共享存储器队列中读取中间数据集，对中间数据集执行神经网络的第二层子集的操作，并且生成输出数据集，同时神经网络加速器对另一输入数据集执行神经网络的第一层子集的操作。