[发明专利]用于执行pooling运算的装置和方法

说明书

本公开公开了一种用于执行pooling运算的装置，包括数据访问单元以及运算模块。数据访问单元用于访问外部地址空间，完成数据的加载和存储；运算模块用于完成pooling运算。对于maxpooling，在正向运算时，运算模块循环读取pooling核kernel的输入向量，做比较大小的运算操作，得到新的kernel的输出向量同时保存每一个输出向量对应的索引向量，直至本层pooling运算结束。本公开能解决CPU和GPU运算性能不足和前端译码开销大的问题。

技术领域

本公开涉及人工神经网络，具体地涉及一种用于执行pooling运算的装置和方法。

背景技术

多层人工神经网络被广泛应用于模式识别，图像处理，函数逼近和优化计算等领域，多层人工网络在近年来由于其较高的识别准确度和较好的可并行性，受到学术界和工业界越来越广泛的关注。

pooling运算是指在神经网络的特征层中，进行局部特征的降采样运算，减少特征层的维度。pooling运算分为两种：maxpooling是指在kernel内，取最大值作为结果；avgpooling是指在kernel内，取平均值作为结果。此处的kernel即pooling核，大小是参数指定的，并根据步长stride在特征层上进行滑动，进行pooling运算，得到结果。

一种支持多层人工神经网络pooling运算的正向运算和反向训练的已知方法是使用通用处理器。该方法通过使用通用寄存器堆和通用功能部件执行通用指令来支持上述算法。该方法的缺点之一是单个通用处理器的运算性能较低，无法满足通常的多层人工神经网络运算的性能需求。而多个通用处理器并行执行时，通用处理器之间相互通信又成为了性能瓶颈。另外，通用处理器需要把多层人工神经网络反向运算译码成一长列运算及访存指令序列，处理器前端译码带来了较大的功耗开销

另一种支持多层人工神经网络pooling运算的正向运算和反向训练的已知方法是使用图形处理器(GPU)。该方法通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来支持上述算法。由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对多层人工神经网络运算的专门支持，仍然需要大量的前端译码工作才能执行多层人工神经网络运算，带来了大量的额外开销。另外GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈。另外，GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈，同时带来了巨大的功耗开销。

发明内容

本公开的一个方面提供了一种用于执行pooling运算的装置，包括数据访问单元以及运算模块，其中：数据访问单元用于从内存向运算模块的相应数据存储单元中写数据或从所述数据存储单元向内存读数据；运算模块用于在pooling计算过程中，完成maxpooling运算的求最大值运算，或用于完成avgpooling运算的累加和乘法运算。

本公开的另一个方面提供了一种使用上述装置执行单层人工神经网络pooling运算的方法。

本公开的另一方面提供了一种使用上述装置执行多层人工神经网络pooling运算的方法。

本公开的再一方面提供了一种电子设备，包括以上所述的用于执行pooling运算的装置。

本发明可以应用于以下场景中(包括但不限于)：数据处理、机器人、电脑、打印机、扫描仪、电话、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备等各类电子产品；飞机、轮船、车辆等各类交通工具；电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机等各类家用电器；以及包括核磁共振仪、B超、心电图仪等各类医疗设备。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：