[发明专利]一种行人重识别的神经网络加速装置及方法

说明书

本发明公开了一种行人重识别的神经网络加速装置及方法。一种行人重识别的神经网络加速装置包括：控制模块、缓存模块、行缓存模块、致密卷积模块、深度可分离卷积模块和存储模块，其中缓存模块包括权重缓存模块和特征缓存模块，特征缓存模块为多分支网络结构。本发明通过设置多分支网络结构的特征缓存模块，计算获取的输入特征得到中间特征并缓存，实现了对多分支网络结构的中间特征的缓存，无需通过频繁访问内存来获取中间特征，降低了延时和功耗；通过设置致密卷积模块与深度可分离卷积模块的并行计算，减少了数据写回缓存模块的次数和数量，从而进一步降低了延时和功耗。

技术领域

本申请涉及神经网络计算领域，尤其是一种行人重识别的神经网络加速装置及方法。

背景技术

行人重识别技术是一项利用计算机视觉技术匹配不同摄像头拍摄收集的相同行人的图片的图像检索技术，在智能安防领域有着广阔应用前景。在进行行人重识别时不仅需要人的全局整体性的特征，也需要挖掘局部细粒度的特征，即全尺度的特征。基于此，研究人员提出了基于深度学习的可挖掘输入图片不同尺度信息的全方位网络(Omni-ScaleNetwork,OSNet)，这种网络结构利用多个分支来获取不同尺度的信息，最后将不同尺度信息融合以提升行人重识别的精度。另外，该网络还采用深度可分离卷积减少参数量和计算量。全方位网络包括四个分支，四个分支分别由1、2、3、4个Lite 3×3卷积级联组成。全方位网络的中间计算需要保留多种尺度信息的数据，需要频繁地访问内存，从而造成延迟和额外功耗。现有的神经网络加速器缺乏对多分支结构的算法网络的研究，因此利用已有加速器架构无法对全方位网络进行加速。此外，全方位网络中传统致密卷积(Denseconvolution)和深度可分离卷积(Depth-wise Separable Convolution)级联会造成数据储存排布困难。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种行人重识别的神经网络加速装置及方法，实现了对多分支网络结构的中间特征的缓存，降低了延时和功耗，并实现了致密卷积计算与深度可分离卷积计算的并行运算。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种行人重识别的神经网络加速装置，包括：

控制模块，用于产生读控制信号和写控制信号；

缓存模块，包括权重缓存模块和特征缓存模块，所述权重缓存模块用于根据所述写控制信号获取权重并缓存，所述特征缓存模块为多分支网络结构，用于根据所述写控制信号获取输入特征，用于根据所述输入特征计算得到中间特征并缓存；

行缓存模块，用于根据所述读控制信号读取所述权重和所述中间特征，用于将所述权重和所述中间特征重新排列得到权重向量和特征向量；

致密卷积模块，用于根据所述权重向量和所述特征向量进行致密卷积计算，生成第一特征；

深度可分离卷积模块，用于根据所述第一特征生成第二特征，所述第二特征为深度可分离卷积权重，并根据所述第一特征和所述第二特征进行深度可分离卷积计算，得到第三特征；

存储模块，用于将所述第一特征和所述第三特征存入所述特征缓存模块中。

另外，根据本发明上述实施例的一种行人重识别的神经网络加速装置，还可以具有以下附加的技术特征：

进一步地，本发明实施例的一种行人重识别的神经网络加速装置中，所述特征缓存模块的多分支网络结构包括第一特征缓存模块、两个第二特征缓存模块、三个第三特征缓存模块、三个第四特征缓存模块和第五特征缓存模块；