[发明专利]访存设备、计算设备和应用于卷积神经网络运算的设备

说明书

一种访存设备、计算设备和应用于卷积神经网络运算的设备，以提高访存效率和计算运算吞吐量，同时降低计算功耗。包括：输入缓存单元，用于缓存待计算的数据块；级联单元，与输入缓存单元相连，级联单元从输入缓存单元中读取待计算的数据块，待计算的数据块包括第一数据块和第二数据块；将第一数据块和第二数据块首尾相连，得到级联数据块；从级联数据块中截取第三数据块，第三数据块包含级联数据块中的一段连续的数据，且第三数据块的长度与输入缓存单元中的数据块的长度相等。

技术领域

本申请涉及计算机领域，尤其涉及计算机领域中的访存设备、计算设备和应用于卷积神经网络运算的设备。

背景技术

卷积神经网络(convolutional neural network，CNN)是深度学习中使用最广泛的算法，它广泛应用于图像分类、语音识别、视频理解、人脸检测等多种应用中。针对神经网络数据密集性的计算特点，卷积神经网络运算通常采用定制的神经网络处理器。近年来，神经网络处理器成为学术界和工业界的研究热点。

对于当前的神经网络处理器，概括而言，其研究方向主要包含计算和存储两方面。其中在计算方面，卷积运算的核心是乘累加运算。卷积运算中通常包含大量的-1，0，2ⁿ等特殊数据，这些数据占用了很大一部分的计算资源。但是-1，0，2ⁿ等特殊数据是在运行时产生的，而编译器只能进行静态优化，不能对运行中的数据进行优化。导致计算的速率和吞吐量较低。

在存储方面，由于卷积算法的数据局部性强，所以存在频繁地址非对齐访存。而在对缓存进行地址非对齐访问时，缓存需要同时访问连续的两个访存块，且经过复杂的地址译码、数据选通、旋转移位等多个操作，功耗较高，同时难以在一个时钟周期内产生所需要的访问数据。

发明内容

本申请提供了一种访存设备、计算设备和应用于卷积神经网络运算的设备，以提高访存效率和计算运算吞吐量，同时降低计算功耗。

第一方面，提供了一种访存设备，包括：输入缓存单元，用于缓存待计算的数据块；级联单元，与所述输入缓存单元相连，所述级联单元用于从所述输入缓存单元中读取所述待计算的数据块，所述待计算的数据块包括第一数据块和第二数据块；将所述第一数据块和所述第二数据块首尾相连，得到级联数据块；从所述级联数据块中截取第三数据块，所述第三数据块包含所述级联数据块中的一段连续的数据，且所述第三数据块的长度与所述输入缓存单元中的数据块的长度相等。

级联单元可以将从输入缓存单元中读取的第一数据块和第二数据块首尾相连，得到级联数据块。并从级联数据中截取任意起始位置的一个数据块长度的第三数据块。从而能够通过任意截取级联数据块中数据的方法实现快速的地址非对齐访问，提高了地址非对齐访问的效率。

在一种可能的实现方式中，所述访存设备还包括：控制单元，所述控制单元与所述级联单元相连，用于向所述级联单元发送第一控制指令，所述第一控制指令用于指示所述级联数据块的截取方式；所述级联单元根据所述第一控制指令，从所述级联数据块中截取所述第三数据块。

在本申请实施例中，可以根据第一控制指令从输入缓存单元的两个数据块中按照任意起始地址快速取得一个向量长度数据，即通过一条指令支持任意地址非对齐访问，能够精简地址非对齐访问的指令，提高访存效率。

在一种可能的实现方式中，所述第一控制指令包含第一指示信息，所述第一指示信息用于指示所述第三数据块在所述级联数据块中的起始位置。

在一种可能的实现方式中，所述第一指示信息包含所述第三数据块的起始位置的数据序号，所述第一控制指令还包括第二指示信息，所述第二指示信息用于指示所述待计算的数据块的数据格式；所述级联设备根据所述数据序号以及所述数据格式，确定所述第三数据块在所述级联数据块中的起始位置。