[发明专利]用于访问矩阵操作数的多变量跨步读取操作

说明书

本申请涉及用于访问矩阵操作数的多变量跨步读取操作。在一个实施例中，矩阵处理器包括用于存储矩阵操作数和跨步读取序列的存储器，其中：矩阵操作数被乱序地存储在存储器中；并且跨步读取序列包括以正确的顺序从存储器中读取矩阵操作数的一系列读取操作。矩阵处理器还包括电路，用于：接收要由矩阵处理器执行的第一指令，其中，第一指令用于指示矩阵处理器对矩阵操作数执行第一操作；基于跨步读取序列从存储器中读取矩阵操作数；以及通过对矩阵操作数执行第一操作来执行第一指令。

技术领域

本公开总体上涉及矩阵处理系统的领域，并且更具体地但非排他地涉及用于从存储器中提取矩阵操作数的多变量跨步(strided)读取操作。

背景技术

训练人工神经网络和/或使用神经网络执行推理通常需要涉及复杂的矩阵算术(例如许多大的多维度矩阵操作数的矩阵乘法和卷积)的许多计算密集型操作。这些矩阵操作数的存储器布局对于神经网络的整体性能非常重要。在某些情况下，例如，以特定格式存储在存储器中的矩阵操作数可能需要被提取和/或转换为不同格式，以对基础矩阵元素执行某些操作。例如，为了执行某些神经网络操作，矩阵操作数的维度可能需要被重新排列(shuffled)或重新排序，或者矩阵操作数的某些部分可能需要被提取、切片(sliced)、修剪和/或重新排序。在许多计算架构中，这要求将原始矩阵操作数从存储器中完整地读取、转换为适当的格式或顺序、作为新的矩阵操作数存储回存储器中，然后进行操作。这种方法可能效率极低，因为它增大了处理延迟、存储器访问延迟和存储器利用率。

发明内容

根据本申请的一方面，提供了一种矩阵处理器，包括：存储器，用于存储矩阵操作数和跨步读取序列，其中：所述矩阵操作数被乱序地存储在所述存储器中；并且所述跨步读取序列包括用于以正确的顺序从所述存储器中读取所述矩阵操作数的读取操作序列；控制电路，用于接收要由所述矩阵处理器执行的第一指令，其中，所述第一指令用于指示所述矩阵处理器对所述矩阵操作数执行第一操作；读取电路，用于基于所述跨步读取序列从所述存储器中读取所述矩阵操作数；以及执行电路，用于通过对所述矩阵操作数执行所述第一操作来执行所述第一指令。

根据本申请的另一方面，提供了至少一种非暂态机器可访问存储介质，其上存储有指令，其中，所述指令在机器上被执行时使所述机器：接收要由矩阵处理器执行的第一指令，其中，所述第一指令用于指示所述矩阵处理器对矩阵操作数进行第一操作，其中，所述矩阵操作数被乱序地存储在所述矩阵处理器的存储器中；访问存储在所述存储器中的跨步读取序列，其中，所述跨步读取序列包括用于以正确的顺序从所述存储器中读取所述矩阵操作数的读取操作序列；基于所述跨步读取序列从所述存储器中读取所述矩阵操作数；以及使得所述第一指令由所述矩阵处理器执行，其中，所述第一指令要通过对所述矩阵操作数执行所述第一操作来执行。

根据本申请的又一方面，提供了一种方法，包括：接收要由矩阵处理器执行的第一指令，其中，所述第一指令用于指示所述矩阵处理器对矩阵操作数进行第一操作，其中，所述矩阵操作数被乱序地存储在所述矩阵处理器的存储器中；访问存储在所述存储器中的跨步读取序列，其中，所述跨步读取序列包括用于以正确的顺序从所述存储器中读取所述矩阵操作数的读取操作序列；基于所述跨步读取序列从所述存储器中读取所述矩阵操作数；以及使得所述第一指令由所述矩阵处理器执行，其中，所述第一指令要通过对所述矩阵操作数执行第一操作来执行。

根据本申请的再一方面，提供了一种系统，包括：主机处理器；以及矩阵处理器，包括：存储器，用于存储矩阵操作数和跨步读取序列，其中：所述矩阵操作数被乱序地存储在所述存储器中，并且所述跨步读取序列包括用于以正确的顺序从所述存储器中读取所述矩阵操作数的读取操作序列；控制电路，用于接收要由所述矩阵处理器执行的第一指令，其中，所述第一指令用于指示所述矩阵处理器对所述矩阵操作数执行第一操作，并且其中，所述第一指令是要从所述主机处理器接收的；读取电路，用于基于所述跨步读取序列从所述存储器中读取所述矩阵操作数；以及执行电路，用于通过对所述矩阵操作数执行所述第一操作来执行所述第一指令。

附图说明