[发明专利]一种卷积神经网络-图卷积神经网络可重构硬件加速架构

说明书

本发明属于神经网络深度学习领域，具体涉及一种卷积神经网络‑图卷积神经网络可重构硬件加速架构。本发明利用可配置寄存器对卷积神经网络‑图卷积神经网络两种神经网络的运算进行配置重构；针对卷积神经网络数据使用重排图像块为矩阵列方法，将三维卷积转换为二维矩阵运算，使得不同的神经网络运算可以复用处理元件阵列单元，以及数据静态存储控制单元、权重静态存储控制单元，达到资源复用。本发明实现了两种神经网络在同一硬件架构进行加速，大大节约了硬件开销，通过一个架构可以跑多种算法，这将节省资源，大大提高通用性，极大程度上促进整个产业的发展。

技术领域

本发明属于神经网络深度学习领域，具体涉及一种卷积神经网络-图卷积神经网络可重构硬件加速架构。

背景技术

最近几年来，人工智能领域，尤其是机器学习在理论和应用方面均获得了突破性的成就。神经网络深度学习是机器学习最重要发展方向之一，在过去的十年中，随着计算资源的快速发展和大量训练数据的可用性，深度学习和神经网络得到了快速的兴起与发展。许多曾经严重依赖于手工提取特征的机器学习任务(如目标检测、机器翻译和语音识别)，如今都已被各种端到端的深度学习神经网络模型(例如卷积神经网络(CNN)、长短期记忆模型(LSTM)和自动编码器)彻底取代了。

相比于中央处理器(CPU)、图形处理器(GPU)和专用集成电路(ASIC)，现场可编程逻辑门阵列(FPGA)在深度学习算法加速上具有高速度、低功耗、稳定而又延迟极低，适用于流式的计算密集型任务和通信密集型任务，并具有灵活、开发周期短、成本低、便于携带等优势。因此现场可编程逻辑门阵列是深度学习加速非常不错的选择。

近年来卷积神经网络(CNN)和图卷积神经网络(GCN)是神经网络深度学习领域炙手可热的研究方向。卷积神经网络在图像数据识别领域，对数据具备规则空间结构的欧式结构图像数据识别的处理有很好的效果。但现实生活中还存在有很多不规则的数据结构，近年来兴起的图卷积神经网络对于不具备规则空间结构的非欧结构图像数据，如推荐系统、电子交易、分子结构等抽象出来的图谱等的处理场景应用广泛。

目前学术、工业界针对卷积神经网络的硬件加速器的研究已经成果颇丰，对于图卷积神经网络的硬件加速器的研究也有一定的成果。但是目前的硬件架构都是针对一种神经网络进行加速，不支持重构加速不同神经网络，然而这会极大限制人工智能芯片产业的发展。近两年来人工智能芯片市场陷入低速增长，其根本原因就是神经网络加速硬件架构不支持重构。比如对于欧式结构和非欧结构数据都需要处理、研究的需求场景，一旦深度学习神经网络的计算复杂度急速增高、数据量急速增大，对硬件加速器的开销需求会急速增大，如果对卷积神经网络和图卷积神经网络两种神经网络数据分别采用不同神经网络硬件加速架构进行加速会造成资源的严重浪费。如果能够设计出一款动态可重构的神经网络硬件加速架构，以实现一个架构可以跑多种算法，这将节省资源，大大提高通用性，极大程度上促进整个产业的发展。因此，如何设计一种硬件加速架构，通过配置支持对卷积神经网络-图卷积神经网络两种神经网络数据进行重构加速，成为目前需要解决的一个问题。

发明内容

针对上述存在问题或不足，为解决现有神经网络硬件加速架构不支持两种神经网络重构的问题，本发明提供了一种卷积神经网络-图卷积神经网络可重构硬件加速架构，基于现场可编程逻辑门阵列。

一种卷积神经网络-图卷积神经网络可重构硬件加速架构，其包括权重静态存储控制单元、数据静态存储控制单元、状态控制单元、重排图像块为矩阵列方法单元、处理元件(PE)运算阵列、邻接矩阵运算单元、配置寄存器和激活函数与池化运算单元。

所述状态控制单元，用于完成整个系统架构的状态跳转，以控制神经网络(卷积神经网络或图卷积神经网络)图像/图数据和权重数据的存储调用以及神经网络运算操作的执行顺序。

如果是卷积神经网络模式，状态控制单元的状态跳转顺序为：空闲-输入数据存储-重排图像块为矩阵列方法-神经网络运算-激活池化-中间数据存储。