[发明专利]处理单元、相关装置和张量运算方法

说明书

提供一种处理单元、相关装置和张量运算方法。处理单元包括：计算矩阵，包括m行n列的多个计算单元，计算单元控制器，用于控制每行的计算单元存储第二数据矩阵相应组的x个列向量，控制第一数据矩阵的每一组行向量分别进入相应行的计算单元，在行向量进入计算单元后，计算单元分别计算行向量与存储的x个列向量的向量乘法，得到x个部分和，控制同一列下一行的计算单元从同一列上一行的计算单元接收其计算的x个部分和，以计算第一数据矩阵的行向量中相应数据元素与第二数据矩阵的列向量中非0数据元素的运算，从而实现计算第一数据矩阵和第二数据矩阵的矩阵运算。本公开实施例提高了处理单元计算张量运算的计算能效。

技术领域

本公开涉及芯片领域，具体而言，涉及一种处理单元、相关装置和张量运算方法。

背景技术

深度学习目前在人脸识别、语音识别、自动驾驶等领域均有广泛的使用。由于深度学习依赖大量的重复的卷积、矩阵运算等张量运算，传统的硬件执行相应的算法效率低，因此，专用于执行其的计算架构应运而生。这些架构中的深度学习处理单元采用由多个计算单元组成的计算矩阵。由于深度学习模型的参数(如各节点的权重张量)通常存在大量冗余，其中存在大量值为0或接近0的元素。在张量运算前常稀疏化权重张量，由计算矩阵中的各计算单元执行卷积、矩阵运算中元素的运算，例如点乘、卷积等，然后再将运算结果累加，得到输入张量和权重张量的张量运算结果。实际使用中，处理单元投入使用后，计算矩阵的器件结构固定，往往仅有一个稀疏度的稀疏张量与计算矩阵匹配，造成一个计算矩阵仅能对该匹配的稀疏张量进行高效的张量计算，而在计算其他稀疏度的稀疏张量时，存在处于空转等待状态的计算单元，这降低了处理单元计算张量运算的计算能效。

发明内容

有鉴于此，本公开的一个目的是提高计算矩阵的器件结构与不同稀疏度的稀疏张量的普适性，以提高处理单元计算张量运算的计算能效。

第一方面，本公开实施例提供一种处理单元，包括：

计算矩阵，包括m行n列的多个计算单元，所述计算矩阵用于计算第一数据矩阵与第二数据矩阵的矩阵运算，所述第一数据矩阵的每一行数据元素按列分为m组行向量，所述第二数据矩阵的每一列数据元素按行分为m组列向量；

计算单元控制器，用于控制每行的计算单元存储所述第二数据矩阵相应组的x个列向量，控制所述第一数据矩阵的每一组行向量分别进入相应行的计算单元，其中，下一组行向量比上一组行向量滞后一个时钟周期开始进入相应行的计算单元，同一行下一列的计算单元从同一行上一列的计算单元接收相应组的行向量，在行向量进入计算单元后，所述计算单元分别计算所述行向量与存储的x个列向量的向量乘法，得到x个部分和，

所述计算单元控制器，进一步用于控制同一列下一行的计算单元从同一列上一行的计算单元接收所述同一列上一行的计算单元计算的x个部分和，以根据所述第二数据矩阵的非0数据元素索引，计算所述第一数据矩阵的行向量中相应数据元素与所述第二数据矩阵的列向量中非0数据元素的运算，从而实现计算所述第一数据矩阵和所述第二数据矩阵的矩阵运算，

其中，m、n和x是非零的自然数，x与n的乘积是所述第二数据矩阵的每一组列向量的总数。

可选地，所述第二数据矩阵中每一组每一列列向量的稀疏度相等。

可选地，所述第二数据矩阵中每一组每一列列向量的稀疏度是多个预设稀疏度中的一个，所述预设稀疏度等于所述第二数据矩阵中每一组每一列列向量中非0数据元素的个数与所述列向量中全部数据元素的个数的比值。

可选地，所述计算单元包括：

第一寄存器，用于存储从同一行上一列的计算单元接收的所述第一数据矩阵的相应组的行向量；

第二寄存器，用于存储所述第二数据矩阵相应组的x个列向量中的非0数据元素和非0数据元素的位置索引；