[发明专利]计算神经网络的计算装置、板卡、方法及可读存储介质

说明书

本披露涉及根据模板融合单元计算神经网络的计算装置、板卡、方法及可读存储介质，其中本披露的计算装置包括在集成电路装置中，该集成电路装置包括通用互联接口和其他处理装置。计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。集成电路装置还可以包括存储装置，存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据存储。

技术领域

本披露一般地涉及神经网络领域。更具体地，本披露涉及根据模板融 合单元计算神经网络的计算装置、板卡、方法及可读存储介质。

背景技术

神经网络是按照一定规则连接起来的多个神经元系统，大致上是由以 下四种层结构所组成：输入层、卷积层(convolution layer)、池化层(pooling layer)、全连接层(fully connected layer)。

输入层是自输入数据中截取部分信息，转化成特征矩阵方式呈现，其 中载有对应该部分信息的特征。卷积层配置成接收来自输入层的特征矩阵， 通过卷积操作对输入数据进行特征抽取。卷积层在实际运用时可以建制多 层卷积层。池化层配置成对数据的某一个区域用一个值代替，这值通常是 该区域所有数值里的最大值或平均值。通过池化，在不至于损失过多信息 的前提下，可以缩减模型大小、提高计算速度。全连接层在整个卷积神经网络中起到分类器的作用，相当于特征空间变换，把前面所有有用的信息 提取整合，基于不同的分类做信息比对，借以判断输入数据是否相似于比 对的标的。

随着科技的发展，神经网络的层数越来越多，以经典的VGG架构为 例，VGG-A共有11个权重层、VGG-B有13个权重层、VGG-C有16个 权重层、VGG-D共有16个权重层、VGG-E共有19个权重层。其中，卷 积层和全连接层的泛指权重层。有些神经网络更是具有上百层结构。不仅 如此，随着层数的增加，神经网络的参数数量也呈指数级的增加，例如 AlexNet具有6000万个参数参与计算。

多层数与多参数都需要大量片上片外的输入/输出访问，这将会耗去许 多资源，同时延迟运算时间。因此一种减少输入/输出访问的机制是人工智 能领域中迫切需要的。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本披露的方案提供 了一种根据模板融合单元计算神经网络的计算装置、板卡、方法及可读存 储介质。

在一个方面中，本披露揭露一种根据模板融合单元计算神经网络的计 算装置，所述模板融合单元融合所述神经网络的多层，所述计算装置包括 多个集群，每个集群包括共享存储单元及多个处理器核。共享存储单元用 以自片外内存载入片上单元图。每个处理器核包括神经元存储单元及运算 模块，神经元存储单元用以自所述共享存储单元载入子图，所述子图为所 述片上单元图的一部分；运算模块用以计算所述子图并产生中间结果。其中，所述中间结果在所述多个处理器核间归约，以产生对应所述片上单元 图的计算结果，所述共享存储单元将所述计算结果存回至所述片外内存。

在另一个方面，本披露揭露一种根据模板融合单元计算神经网络的集 成电路装置，包括片外内存、处理装置及计算装置。片外内存用以存储所 述神经网络的特征图；处理装置用以根据融合策略融合所述神经网络的多 层，以产生所述模板融合单元，并拆分所述特征图成片上单元图。计算装 置包括多个集群，每个集群包括共享存储单元及多个处理器核。共享存储 单元用以自片外内存载入片上单元图。每个处理器核包括神经元存储单元及运算模块，神经元存储单元用以自所述共享存储单元载入子图，所述子 图为所述片上单元图的一部分；运算模块用以计算所述子图并产生中间结 果。其中，所述中间结果在所述多个处理器核间归约，以产生对应所述片 上单元图的计算结果，所述共享存储单元将所述计算结果存回至所述片外 内存。

在另一个方面，本披露揭露一种板卡，包括根据前述的集成电路装置。