[发明专利]具有三维堆叠的神经网络加速器瓦片架构

说明书

一种三维神经网络加速器，包括：第一神经网络加速器瓦片，其包括第一传输线圈；以及第二神经网络加速器瓦片，其包括第二传输线圈，其中，第一神经网络加速器瓦片与第二神经网络加速器瓦片相邻并垂直对齐，并且其中第一传输线圈被配置为经由电感耦合与第二传输线圈无线通信。

技术领域

本说明书通常涉及在硬件中加速神经网络计算。

背景技术

神经网络是采用一个或多个非线性单元的层对于所接收的输入来预测输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一个层，即下一个隐藏层或输出层的输入。网络的每个层根据相应参数集的当前值从所接收的输入生成输出。

发明内容

通常，本说明书中描述的主题的一个创新性方案可以在三维神经网络加速器中具体实施，该三维神经网络加速器包括：具有第一传输线圈的第一神经网络加速器瓦片；以及具有第二传输线圈的第二神经网络加速器瓦片，其中，第一神经网络加速器瓦片与第二神经网络加速器瓦片相邻并垂直对齐，其中，第一传输线圈被配置为经由电感耦合建立与第二传输线圈的无线通信，以及其中，第一神经网络加速器瓦片和第二神经网络加速器瓦片被配置为通过以下来执行神经网络的计算：通过所建立的无线通信形成静态互连系统，该静态互连系统包括提供不间断数据流的通信机制。

这些和其他实施方式可以各自可选地包括以下特征中的一个或多个：第一神经网络加速器瓦片被包括在第一神经网络加速器芯片上的第一瓦片阵列中，以及其中，第二神经网络加速器瓦片被包括在第二神经网络加速器芯片上的第二瓦片阵列中；第一传输线圈被进一步配置为通过近场无线通信在第一神经网络加速器瓦片与第二神经网络加速器瓦片之间提供数字逻辑互连；第一传输线圈进一步包括ThruChip接口(TCI)接收器和TCI发射器，其中，TCI接收器被配置为从第二传输线圈接收无线通信，以及其中，TCI发射器被配置为向第二传输线圈发射无线通信；第一神经网络加速器瓦片进一步包括处理元件和环形总线，其中，处理元件、第一传输线圈、TCI接收器、以及TCI发射器通过环形总线可通信地连接；处理元件包括用于在硬件中执行神经网络计算的电路；第一传输线圈被进一步配置为建立与第二传输线圈的TCI连接，以形成垂直环形总线；第一神经网络加速器瓦片进一步包括短路平面，以防止来自其他传输线圈的干扰；第一神经网络加速器瓦片相对于第二神经网络加速器瓦片旋转180度；以及第一神经网络加速器瓦片和第二神经网络加速器瓦片被相同定向。

可以实现本说明书所描述的主题的特定实施例，从而实现以下优点的一个或多个。三维堆叠神经网络加速器具有增加的片上存储器(on-chip memory)容量，例如以容纳更大的模型。与其他三维堆叠解决方案相比附加的优点包括成本更低、带宽更高、结构更紧凑、可扩展性增加。

在附图和以下描述中给出本说明书所描述的主题的一个或多个实施方式的细节。根据说明书、附图和权利要求，本主题的其他潜在特征、方案和优点将变得显而易见。

附图说明

图1A-图1C是示例神经网络加速器瓦片的方框图。

图2说明具有两个神经网络加速器芯片的示例三维堆叠神经网络加速器。

图3说明具有两个神经网络加速器芯片的另一个示例三维堆叠神经网络加速器。

图4说明具有两个神经网络加速器芯片的又一个示例三维堆叠神经网络加速器。

图5说明具有用于中带宽设计的垂直环形总线实施方式的示例三维堆叠神经网络加速器。

各个附图中相同的附图标记和名称指示相同的元件。

具体实施方式