[发明专利]用于人工智能和机器学习的向量加速器

说明书

本公开提供一种用于处理向量或矩阵运算的加速器。加速器包括：向量处理单元，包括多个计算单元，所述计算单元具有被配置为并行处理向量运算的电路；矩阵乘法单元，包括第一矩阵乘法算子、第二矩阵乘法算子和累加器，所述第一矩阵乘法算子和所述第二矩阵乘法算子具有被配置为处理矩阵运算的电路，所述累加器具有被配置为累加所述第一矩阵乘法算子和所述第二矩阵乘法算子的输出结果的电路；以及存储器，用于存储向量运算或矩阵运算的输入数据，所述存储器被配置为与所述向量处理单元和所述矩阵乘法单元通信。

相关申请的交叉引用

本公开要求2020年8月17日提交的美国临时申请No.63/066,723的优先权权益，上述申请的全部内容通过引用合并于此。

技术领域

本公开总体上涉及一种用于人工智能(AI)和机器学习(ML)的加速器，尤其涉及一种被配置为支持处理神经网络的加速器，所述神经网络需要大量数据(例如向量或矩阵等)运算。

背景技术

人工智能和机器学习已广泛应用于各个领域。应用于人工智能或机器学习的神经网络通常需要处理大量的数据。然而，传统的中央处理单元(CPU)或图形处理单元(GPU)结构不是专门为处理大数据而设计的，也不是为处理包括向量或矩阵运算在内的神经网络而优化的，这些运算通常需要大量数据。提高处理消耗大量数据的神经网络的性能对于提高整体执行性能具有重要意义。

发明内容

参照以下描述和附图可以最佳地理解本公开，所述附图用于说明本公开实施例的用于人工智能和机器学习的向量加速器。

本公开的一个目的是实现提高处理神经网络的性能的加速器。

本公开实施例提供了一种用于处理向量或矩阵运算的加速器。所述加速器包括向量处理单元，所述向量处理单元包括多个计算单元，所述计算单元具有被配置为并行处理向量运算的电路；矩阵乘法单元，所述矩阵乘法单元包括第一矩阵乘法算子、第二矩阵乘法算子和累加器，所述第一矩阵乘法算子和所述第二矩阵乘法算子具有被配置为处理矩阵运算的电路，所述累加器具有被配置为累加所述第一矩阵乘法算子和所述第二矩阵乘法算子的输出结果的电路；以及存储器，用于存储向量运算或矩阵运算的输入数据，所述存储器被配置为与所述向量处理单元和所述矩阵乘法单元通信。

本公开实施例提供了一种用于在加速器上处理向量或矩阵运算的方法，所述加速器包括：向量处理单元，所述向量处理单元包括多个计算单元，所述计算单元具有被配置为并行处理向量运算的电路；矩阵乘法单元包括矩阵乘法算子，所述矩阵乘法算子具有被配置为处理矩阵运算的电路；存储器用于存储向量运算或矩阵运算的输入数据，并且所述存储器包括多个行，每个行被配置为存储可由所述多个计算单元或由所述矩阵乘法算子同时处理的数据。所述方法包括：将输入数据划分为多个数据段，并将每个数据段存储在所述多个行中的对应行中；将存储在所述多个行的第一行中的第一数据段提供给所述向量处理单元或所述矩阵乘法单元；以及由所述多个计算单元或由所述矩阵乘法算子对所述第一数据段同时执行向量运算或矩阵运算。

本公开实施例提供了一种设备，所述设备包括：主机单元；以及与所述主机单元通信耦合的加速器。所述加速器包括：向量处理单元，所述向量处理单元包括多个计算单元，所述计算单元具有被配置为并行处理向量运算的电路；矩阵乘法单元，所述矩阵乘法单元包括第一矩阵乘法算子、第二矩阵乘法算子和累加器，所述第一矩阵乘法算子和所述第二矩阵乘法算子具有被配置为处理矩阵运算的电路，所述累加器具有被配置为累加所述第一矩阵乘法算子和所述第二矩阵乘法算子的输出结果的电路；以及存储器，用于存储向量运算或矩阵运算的输入数据，并且所述存储器被配置为与所述向量处理单元和所述矩阵乘法单元通信。

通过上述方案，使得可以提高加速器处理神经网络的性能。

本公开实施例的附加特征和优点将在以下描述中部分阐述，并且部分将从描述中显而易见，或者可以通过实施例的实践来学习。本公开实施例的特征和优点可以通过权利要求中阐述的元件和组合来实现和获得。