[发明专利]用于执行人工神经网络正向运算的装置和方法

说明书

本公开提供了一种用于执行人工神经网络正向运算的装置，包括H树模块、主运算模块以及多个从运算模块。本公开还提供了一种用于执行人工神经网络正向运算的方法。本公开用于执行人工神经网络正向运算的装置及方法，减小了神经网络存储资源和计算资源的开销，有利于提高神经网络的运算速度。

技术领域

本公开总体上涉及人工神经网络，具体地涉及一种用于执行人工神经网络正向运算的装置和方法。

背景技术

多层人工神经网络被广泛应用于模式识别，图像处理，函数逼近和优化计算等领域，多层人工网络在近年来由于其较高的识别准确度和较好的可并行性，受到学术界和工业界越来越广泛的关注。

一种支持多层人工神经网络正向运算的已知方法是使用通用处理器。该方法通过使用通用寄存器堆和通用功能部件执行通用指令来支持上述算法。该方法的缺点之一是单个通用处理器的运算性能较低，无法满足通常的多层人工神经网络运算的性能需求。而多个通用处理器并行执行时，通用处理器之间相互通信又成为了性能瓶颈。另外，通用处理器需要把多层人工神经网络正向运算译码成一长列运算及访存指令序列，处理器前端译码带来了较大的功耗开销

另一种支持多层人工神经网络正向运算的已知方法是使用图形处理器(GPU)。该方法通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来支持上述算法。由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对多层人工神经网络运算的专门支持，仍然需要大量的前端译码工作才能执行多层人工神经网络运算，带来了大量的额外开销。另外GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈。另外，GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈，同时带来了巨大的功耗开销。

发明内容

根据本公开的一个方面，提供了一种用于执行人工神经网络正向运算的装置，包括H树模块、主运算模块、多个从运算模块、以及幂次转换模块；其中：H树模块，用于在每层神经网络正向运算开始计算的阶段，主运算模块通过H树模块向所有的从运算模块传输本层的输入神经元向量，在从计算模块的计算过程完成后，H树模块逐级将各从计算模块的输出神经元值拼成中间结果向量；主运算模块，用于利用所述中间结果向量完成后续计算；多个从运算模块，用于利用相同的输入神经元向量和各自不同的权值向量，并行地计算出各自的输出神经元值；幂次转换模块，其包括第一幂次转换单元和/或第二幂次转换单元；所述第一幂次转换单元用于将格式数据转换为幂次数据，所述第二幂次转换单元用于将幂次数据转换为格式数据。

在一些实施例中，所述格式数据为浮点数据和/或定点数据。

在一些实施例中，所述第一幂次转换单元用于选择性的将所述主运算模块和/或从运算模块的输入数据、中间数据或输出数据中的格式数据转换为幂次数据；所述第二幂次转换单元用于选择性的将所述主运算模块和/或从运算模块的输入数据、中间数据或输出数据中的幂次数据转换为格式数据。

在一些实施例中，所述主运算模块包括：第一运算单元，用于接收来自H树模块的中间结果向量，完成主运算模块的各种运算功能；该第一运算单元包括：向量加法单元及激活单元；其中，向量加法单元用于实现人工神经网络正向运算中的加偏置操作，所述向量加法单元的输入为从外部地址空间读取出来的偏置向量，以及通过所述H树模块从所述从运算模块传送回来的中间结果，输出为偏置向量与中间结果相加后的偏置结果；激活单元用于实现人工神经网络激活函数导函数乘法操作，所述激活单元的输入为通过所述H树模块从所述从运算模块传送回来的中间结果，或向量加法单元输出的偏置结果，输出为所述中间结果或偏置结果与激活函数导函数相乘后的输出数据。