[发明专利]通用矩阵-矩阵乘法数据流加速器半导体电路

说明书

本发明公开一种包括智能三维堆叠动态随机存取存储器架构的通用矩阵‑矩阵乘法(GEMM)数据流加速器半导体电路。所述通用矩阵‑矩阵乘法数据流加速器半导体电路包括：存储器存储体；外围查找表，存储在存储器存储体中；以及第一向量缓冲器，存储用作查找表中的行地址的第一向量。所述电路包括第二向量缓冲器及查找表缓冲器，第二向量缓冲器存储用作查找表中的列地址的第二向量，查找表缓冲器从查找表接收并存储查找表表项。所述电路还包括求取第一乘积与第二乘积的和的加法器以及存储所述和的输出缓冲器。查找表缓冲器确定第一向量与第二向量的乘积而不实行乘法运算。实施例包括用于减小潜伏时间的分级查找架构。累积结果以脉动方式传播。

[相关申请数据]

本申请主张在2018年12月7日提出申请的序列号为62/777,046的美国专利申请的权利，所述美国专利申请并入本申请供参考。

技术领域

本发明概念涉及深度学习，且更具体来说，涉及一种用于深度学习中的通用矩阵-矩阵乘法及张量计算的数据流加速器架构。

背景技术

深度神经网络被认为是有望实现人工智能的方法且已在许多应用中展现出其有效性。训练深度神经网络需要高的精度及宽的动态范围二者，这要求进行高效的浮点运算(floating point operation)。包括大多数浮点运算且在训练深度神经网络中占用最多时间的张量计算(tensor computation)是进行加速的关键基元运算(primitiveoperation)。由于计算性能按比例缩放得比存储器带宽及潜伏时间快得多且片外数据移动(off-chip data movement)比浮点运算多消耗两个数量级的能量，因此用于张量计算的以计算为中心的加速器会遭受“存储墙(memory wall)”问题。

张量计算在深度学习中对各种各样的应用起着重要作用。能够在存储器模块内部或存储器模块附近实现计算能力的存储器内处理(process-in-memory，PIM)架构因其内部带宽大、数据移动减少及大规模存储器并行度而展现出使张量计算加速的潜力。然而，传统的PIM方法主要探索深度学习推理应用，深度学习推理应用可容忍降低的精度，但也可能无法进行复杂的浮点训练任务。近数据处理(Near-Data-Processing，NDP)架构侵入性较小且将复杂的算术逻辑单元(Arithmetic Logic Unit，ALU)放置在存储器核心存储体之外。然而，由于面积预算的原因，ALU的数目会受到严格限制，且与以计算为中心的架构相比，NDP方法还会损失大量的内部带宽。与以计算为中心的方法相比，这些缺点使NDP架构在浮点性能方面不太有效。

另外，将浮点单元简单地相加来满足张量处理的计算需求会导致动态随机存取存储器(dynamic random access memory，DRAM)裸片中出现显著且不可接受的面积开销。另外，新兴的基于非易失性存储器的加速器会遭受写入耐久性差及写入潜伏时间长的问题，这不适合于写入密集型深度学习训练任务。另外，基于静态随机存取存储器(staticrandom-access memory，SRAM)的加速器不具有足够的片上存储容量来存储进行深度学习训练所需的所有模型参数及中间结果。

发明内容