[发明专利]用于神经网络的方法和装置

说明书

本发明题为“用于神经网络的方法和装置”。本发明提供了一种信号处理系统，所述信号处理系统包括与加速器通信的中央处理单元(CPU)以及与所述加速器通信的指令调度器。第一存储器设备包括被配置为操作所述加速器的第一指令集以及被配置为操作所述CPU的第二指令集，并且第二存储器设备被配置为接收数据文件。所述加速器包括多个处理引擎(PE)和指令调度器，所述指令集包括多个运算符，并且所述指令调度器被配置为采用所述PE在所述加速器中实现所述运算符。所述CPU采用在所述加速器中实现的所述运算符来分析所述数据文件以从中提取特征。

背景技术

人工神经网络是一种采用多个机器学习算法一起处理复杂数据文件(例如，视觉图像、音频文件等)的计算框架。用于实现人工神经网络的处理器配置可能具有次优性能。计算机或处理器的性能可以根据指令执行速率或吞吐量来评估，该指令执行速率或吞吐量可以每秒百万条指令(MIPS)、时钟速度、总线大小、资源利用率、存储器大小、延迟、带宽、吞吐量等来表示。

人工神经网络包括输入层、一个或多个隐藏层以及输出层。可以被配置为执行神经网络的硬件的一些实施方案可为每个层定义固定配置。这种布置可能是次优的，因为层可能具有不同的并行性，不同的并行性最好用不同的性能引擎(PE)提供服务。过度提供PE可导致成本增加、可靠性降低且功耗过大。

用于实现神经网络的硬件配置可包括中央处理单元(CPU)，其与加速器一起操作以处理图像文件或在存储器设备上捕获的其他数据。加速器可利用图形处理单元(GPGPU)、多核处理器、现场可编程门阵列(FPGA)和专用集成电路(ASIC)上的通用计算形式的专用硬件。

神经网络的一个实施方案是卷积神经网络(CNN)，已证明这种神经网络是用于执行图像识别、检测和检索的有效工具。CNN可按比例放大并被配置为支持学习过程所需的大标记数据集。在这些条件下，已发现CNN在学习复杂且稳健的图像特征方面很成功。CNN是一种前馈人工神经网络，在这种神经网络中，各个神经元以使得它们对视场中的重叠区域作出响应的方式平铺。

发明内容

本发明公开了一种信号处理系统，该信号处理系统包括与加速器通信的中央处理单元(CPU)以及与加速器通信的指令调度器。第一存储器设备包括被配置为操作加速器的第一指令集以及被配置为操作CPU的第二指令集，并且第二存储器设备被配置为接收数据文件。加速器包括多个处理引擎(PE)和指令调度器，指令集包括多个运算符，并且指令调度器被配置为采用PE在加速器中实现运算符。CPU采用在加速器中实现的运算符来分析数据文件以从中提取特征。

本公开的一方面包括数据文件是由相机捕获的视场的位图图像文件，其中CPU采用加速器从位图图像文件提取特征。

本公开的另一方面包括信号处理系统与被设置成执行控制动作的控制系统通信，其中控制系统被设置成基于从位图图像文件提取的特征来执行控制动作。

本公开的另一方面包括运算符包括由PE中的一个实现的可组合整流线性(ReLU)运算符。

本公开的另一方面包括运算符，其包括由PE中的一个实现的可组合池化运算符。

本公开的另一方面包括可组合池化运算符是最大池化运算符。

本公开的另一方面包括可组合池化运算符是平均池化运算符。

本公开的另一方面包括指令调度器被配置为采用PE在加速器中实现运算符，包括被配置为实现PE中的单个PE以处理应用于单个输入特征的单个数据内核以实现单个输出特征。

本公开的另一方面包括指令调度器被配置为实现并行布置的PE中的多个复制PE以处理数据内核图块。

本公开的另一方面包括指令调度器被配置为实现多个并行布置的PE中的多个副本PE以处理数据内核的多个图块。

本公开的另一方面包括在加速器中实现的运算符是可组合整流线性(ReLU)运算符。