[实用新型]矢量处理单元

说明书

本申请描述了矢量处理单元，并且包括处理器单元，该处理器单元每个包括多个处理资源。处理器单元每个被配置为执行与矢量化计算相关联的算术运算。矢量处理单元包括与每一个处理器单元以及它们相应的处理资源进行数据通信的矢量存储器。矢量存储器包括被配置成存储由每一个处理器单元使用以执行算术运算的数据的存储体。处理器单元和矢量存储器在矢量处理单元的区域内紧耦合，使得能够基于各个处理器单元相对于彼此的放置以及基于矢量存储器相对于每个处理器单元的放置，以高带宽来交换数据通信。

技术领域

本说明书涉及本地化矢量处理单元，其可用于执行与一般能够被称为矢量的二维数据阵列相关联的各种计算。

背景技术

矢量处理单元能够用于与深度神经网络(“DNN”)层的技术领域例如数值模拟、图形处理、游戏控制台设计、超级计算和机器学习计算相关联的计算。

一般而言，神经网络是机器学习模型，其使用一个或多个模型层来为接收到的输入生成输出，例如分类。具有多个层的神经网络能够用于通过处理经过所述神经网络的每一个层的输入来计算推理。

实用新型内容

与传统矢量处理单元(VPU)的特征相比，本说明书描述了VPU，其被配置为将计算划分为：a)示例单指令多数据(SIMD)VPU，其具有增加的灵活性、增加的存储器带宽要求和相当低的计算密度；b)矩阵单元(MXU)，其具有较低的灵活性、低存储器带宽要求和高计算密度；以及c)低存储器带宽的交叉通道单元(XU)，其用于执行某些可能不适合所述SIMD范式、而且也可能不具有MXU计算操作的计算密度的操作。一般而言，至少a)和b)的计算特征之间的反差相对于现行/传统的SIMD处理器提供了增强的SIMD处理器设计架构。在一些实施方式中，所描述的VPU是示例Von-Neumann SIMD VPU。

本实用新型的一个方面涉及一种矢量处理单元，其包含：一个或多个处理器单元，每个处理器单元被配置为执行与多维数据阵列的矢量化计算相关联的算术运算；和与所述一个或多个处理器单元中的每一个进行数据通信的矢量存储器，其中所述矢量存储器包括被配置为存储由所述一个或多个处理器单元中的每一个使用以执行所述算术运算的数据的存储体；其中所述一个或多个处理器单元和所述矢量存储器在所述矢量处理单元的区域内紧耦合，使得能够基于各个处理器单元相对于彼此的放置以及基于所述矢量存储器相对于每个处理器单元的放置，以高带宽来交换数据通信。

本实用新型的另一个方面涉及一种具有矢量处理单元的计算系统，所述计算系统包含：一个或多个处理器单元，每个处理器单元包括被配置为执行多个算术运算的第一算术逻辑单元；与所述一个或多个处理器单元中的每一个进行数据通信的矢量存储器，所述矢量存储器包括存储体，所述存储体被配置为存储由所述一个或多个处理器单元中的每一个使用以执行所述算术运算的数据；和矩阵运算单元，被配置为接收来自特定处理器单元的至少两个操作数，所述至少两个操作数被所述矩阵运算单元使用以执行与矢量化计算相关联的操作；其中所述一个或多个处理器单元和所述矢量存储器在所述矢量处理单元的区域内紧耦合，使得能够基于至少一个处理器单元和所述矢量存储器之间的第一距离，以第一带宽来交换数据通信；其中所述矢量处理单元和所述矩阵运算单元耦合，使得能够基于至少一个处理器单元和所述矩阵运算单元之间的第二距离，以第二带宽来交换数据通信；以及其中所述第一距离小于所述第二距离，并且所述第一带宽大于所述第二带宽。

此外，一般而言，本说明书中描述的主题的一个创新方面能够体现在矢量处理单元中，所述矢量处理单元包括：一个或多个处理器单元，其每个被配置为执行与多维数据阵列的矢量化计算相关联的算术运算；以及与所述一个或多个处理器单元中的每一个进行数据通信的矢量存储器。所述矢量存储器包括被配置为存储由所述一个或多个处理器单元中的每一个使用以执行所述算术运算的数据的存储体。所述一个或多个处理器单元和所述矢量存储器在所述矢量处理单元的区域内紧耦合，使得能够基于各个处理器单元相对于彼此的放置以及基于所述矢量存储器相对于每个处理器单元的放置，以高带宽来交换数据通信。