[发明专利]对片上缓存友好的维度变换装置及神经网络处理器

说明书

本申请提供了对片上缓存友好的维度变换装置，其包括控制模块、由多个存储块构成的数据缓存模块、写入控制模块和读出控制模块。控制模块在接收待处理的数据搬运指令的同时获取与该指令相关的配置信息，响应于确定配置信息中输入数据维度和输出数据维度不匹配，根据配置信息生成相应的输入地址以按照输出数据维度信息从低维到高维的顺序从外部存储单元读取相应数据，通过写入控制模块将来自外部存储单元的输入数据写入至数据缓存模块中，并通过读出控制模块从数据缓存模块中读取数据以进行输出。该维度变换装置能在不降低片上缓存访问效率的前提下有效地完成数据维度变换。

技术领域

本申请涉及神经网络中的数据处理技术，尤其涉及适用于神经网络处理器中数据维度变换装置。

背景技术

本部分的陈述仅仅是为了提供与本申请的技术方案有关的背景信息，以帮助理解，其对于本申请的技术方案而言并不一定构成现有技术。

人工智能(AI)技术在近些年来得到了迅猛的发展，已经渗透至视觉感知、语音识别、辅助驾驶、智能家居、交通调度等各个领域。很多AI算法都涉及到基于神经网络的学习和计算，例如卷积神经网络CNN、循环神经网络RNN、深度神经网络DNN等等。这些AI算法经常涉及多层结构的神经网络和由多个神经网络构成的学习模型，要求较强的并行计算能力以处理海量数据，因此通常采用诸如GPU、GPGPU、AI加速芯片之类的能支持多核心并行计算的处理器来执行相关的神经网络运算。这些处理器中经常需要将同一批数据提供给神经网络的不同层或提供给不同的神经网络，而这些神经网络的不同层或不同神经网络之间所需数据的格式和维度往往有所不同。

以卷积神经网络为例，该神经网络中每个层利用输入的特征数据与该层相关的参数(例如，卷积参数等)执行该层的相关运算(例如，卷积运算等)。其中特征数据也可以被称为特征图，其可以被视为具有一定的宽度和高度的数据块。每一层所获得的输出的特征数据可以作为下一层的输入特征数据提供给下一层，但由于每个层的节点数和运算方式不同，所需的输入特征数据的维度、排列、格式等往往会有所不同。现有的软件编程的方式通过从片上缓存读出待处理的数据至存储器，进行软件维度变换后再从存储器写入片上缓存，实现了不同层或不同网络之间数据匹配问题。但这种方式不仅增加了AI算法的软件复杂度，还增加了芯片的访存开销并降低了芯片的吞吐量。

需要说明的是，上述内容仅用于帮助理解本申请的技术方案，并不作为评价本申请的现有技术的依据。

发明内容

本申请提供一种对片上缓存友好的维度变换装置，能在不降低片上缓存访问效率的前提下有效地完成数据维度变换。

上述目的是通过以下技术方案实现的：

根据本申请实施例的第一方面，提供了一种对片上缓存友好的维度变换模块，包括控制模块、由多个存储块构成的数据缓存模块、写入控制模块和读出控制模块。控制模块在接收待处理的数据搬运指令的同时获取与该指令相关的配置信息，所述配置信息至少包括输入数据和输出数据的基地址信息、输入数据和输出数据的维度信息、输入数据和输出数据各维度的数据大小和数据步长。控制模块利用收到的配置信息生成相应输入地址以按照输出数据维度从低维到高维的顺序读取相应数据。写入控制模块将来自外部存储单元的输入数据写入至数据缓存模块中。读出控制模块根据控制模块的指示从数据缓存模块中读取数据以进行输出。