[发明专利]基于内存计算的图神经网络硬件计算系统及方法

说明书

本发明公开了基于内存计算的图神经网络硬件计算系统及方法，涉及内存计算硬件技术领域，包括两个内存计算模块，两个MUX模块，一个DMUX模块，一个控制单元和一个Relu模块，本发明利用内存计算单元的特性，提出了一种图卷积神经网络的硬件计算映射方法，能够利用内存计算系统直接对神经网络进行计算，与传统计算机体系结构相比，本发明提出的计算系统直接在存储单元内完成图卷积计算，完全消除了访存操作，大幅节约了外部ALU的算力，极大地提高了系统整体的计算效率、降低了运行功耗。

技术领域

本发明涉及内存计算硬件技术领域，具体涉及基于内存计算的图神经网络硬件计算系统及方法。

背景技术

在过去的十年中，随着计算资源的快速发展和大量训练数据的可用性，深度学习和神经网络得到了快速的兴起与发展。许多曾经严重依赖于手工提取特征的机器学习任务(如目标检测、机器翻译和语音识别)，如今都已被各种端到端的深度学习神经网络模型(例如卷积神经网络(CNN)、长短期记忆模型(LSTM)和自动编码器)彻底取代了。

尽管传统的神经网络方法被应用在提取欧氏空间数据的特征方面取得了巨大的成功，但许多实际应用场景中的数据是从非欧式空间生成的，传统的神经网络方法在处理非欧式空间数据上的表现却仍难以使人满意。例如，在电子商务中，一个基于图(Graph)的学习系统能够利用用户和产品之间的交互来做出非常准确的推荐，但图的复杂性使得现有的深度学习算法在处理时面临着巨大的挑战。因为图是不规则的，每个图都有一个大小可变的无序节点，图中的每个节点都有不同数量的相邻节点，这样导致例如卷积等一些重要的操作在图像上很容易计算，但对于图来说就很困难。此外，现有深度学习算法的一个核心假设是数据样本之间彼此独立。然而，对于图来说，情况并非如此，图中的每个数据样本(节点)都会有边与图中其他实数据样本(节点)相关，这些信息可用于捕获实例之间的相互依赖关系。近年来研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了专门用于处理图数据的图神经网络结构，这种结构借助谱图理论(Spectral GraphTheory)来实现在拓扑图上的卷积操作，具体方法为将空域中的拓扑图结构通过傅立叶变换映射到频域中并进行卷积，然后利用逆变换返回空域，从而完成了图卷积操作。

传统的图神经网络计算是在传统的PC机上完成的，数据存储在磁盘中，进行计算时将需要的数据加载到内存中，计算由CPU来完成，在这个过程中无论是拉普拉斯矩阵计算还是卷积计算，都需要大量的访存操作，此时访存速度就成为了计算的瓶颈。此外由于所有的计算操作和整个计算流程的控制都是外部CPU来完成的，会占用大量的计算资源，使得CPU无法完成其他任务。因此如何提高访存速度和释放外部计算单元的算力就成为了急需解决的问题。

发明内容

本发明的目的在于：提供了基于内存计算的图神经网络硬件计算系统及方法，为了解决现有图神经网络计算的瓶颈问题，该计算系统依靠内存计算模块实现了图卷积运算的硬件映射，将数据的计算和存储合二为一，直接在存储单元中完成所有的运算，并且整个计算流程的控制由内部控制单元来完成，完全消除了访存操作，大幅节约了外部ALU的算力，极大地提高了系统整体的计算效率、降低了运行功耗。

本发明采用的技术方案如下：

本发明是基于内存计算的图神经网络硬件计算系统，包括两个内存计算模块，两个MUX，一个DMUX，一个控制单元模块和一个Relu模块，

所述的两个内存计算模块，分别用于完成拉普拉斯矩阵计算和神经网络的卷积计算；

所述的两个MUX模块，根据控制单元的指令分别去选择两个内存计算模块的输入数据；

所述DMUX模块，根据控制单元的指令选择输出数据的方向，将数据输出到外部或输送到MUX模块进行下一轮计算；

所述Relu模块，将内存计算模块的计算结果作激活处理，得到一层神经网络计算的最终结果，然后将该结果送入后续DMUX模块；