[发明专利]一种神经网络maxout层计算装置

说明书

本发明提供了一种maxout层运算装置，用于根据maxout层运算指令执行maxout层运算，其特征在于，包括连接到存储模块的maxout层运算模块，maxout层运算模块包括：寄存器单元，用于存储maxout层输入数据地址，maxout层输入数据地址为maxout层输入数据在存储模块中的存储地址；加载/存储单元，根据maxout层运算指令对应的maxout层输入数据地址从存储模块获取相应的maxout层输入数据；剪枝单元，对按特征优先存放的maxout层输入数据在特征维度上进行压缩，得到剪枝数据；以及运算单元，根据maxout层运算指令对剪枝数据执行相应运算以得到maxout层运算结果。

技术领域

本发明涉及一种神经网络maxout层运算装置和方法，用于根据maxout层运算指令执行maxout层运算。

背景技术

当前计算机领域有越来越多的算法涉及到maxout层运算，以人工神经网络算法为例，多种神经网络算法中都含有大量的maxout层运算。在神经网络中，经常需要对于输入数据进行剪枝，对于一个maxout层输入数据，其数据为三维数据，分别为横坐标、纵坐标以及特征维度的数据，maxout运算的剪枝策略为在特征维度上压缩数据，即f_j＝max({f_i|a_j≤i≤b_j})，其中f_i为一个点对应的特征维度上的各个值，a_j和b_j标定出在该特征维度上选取数据的范围，最后得到值f_j，即将同一个点的特征维度按预定方式分组取得每组中的最大值，作为这一点的新的一系列的特征，这样，可以在神经网络中获得不同特征层之间的相关信息，可以显著提升神经网络的识别能力。因此，maxout层运算成为目前各种计算装置在设计之初都需要考虑的一个重要问题。

在现有技术中，一种进行maxout层运算的已知方案是使用通用处理器，该方法通过通用寄存器堆和通用功能单元来执行通用指令，从而执行maxout层运算。然而，该方法的缺点之一是单个通用处理器多用于标量计算，在进行maxout层运算时运算性能较低。而使用多个通用处理器并行执行时，通用处理器之间的相互通讯又有可能成为性能瓶颈。

在另一种现有技术中，使用图形处理器(GPU)来进行神经网络maxout层运算，其中，通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来进行maxout层运算。然而，上述方案中，GPU片上缓存太小，在进行大规模maxout层运算时需要不断进行片外数据搬运，片外带宽成为了主要性能瓶颈。

在另一种现有技术中，使用专门定制的maxout层运算装置来进行神经网络maxout层运算，其中，使用定制的寄存器堆和定制的处理单元进行maxout层运算。然而，目前已有的专用maxout层运算装置受限于寄存器堆，不能够灵活地支持不同长度的maxout层运算。

综上所述，现有的不管是片上多核通用处理器、片间互联通用处理器(单核或多核)、还是片间互联图形处理器都无法进行高效的maxout层运算，并且这些现有技术在处理maxout层运算问题时存在着代码量大，受限于片间通讯，片上缓存不够，支持的maxout层规模不够灵活等问题。

发明内容

(一)要解决的技术问题

本发明的目的在于，提供一种maxout层运算装置，解决现有技术中存在的受限于片间通讯、片上缓存不够、支持的maxout层长度不够灵活等问题。

(二)技术方案