[发明专利]神经网络卷积权重layout优化的方法、装置、设备及可读介质

说明书

本发明提供了一种神经网络卷积的权重layout优化的方法、装置、设备及可读介质，该方法包括：初始化累加器，由全局加载计算数据和权重数据到共享内存中后将计算数据加载到寄存器中；将权重数据中的输出通道的维度按照预设算法进行优化；使用优化后的权重进行矩阵乘计算；将在累加器中计算后的数据写入全局内存中。通过使用本发明的方案，能够使得数据在加载的时候做到全局内存的融合读写，又能避免累加器到全局内存时引入的共享内存数据读取过程，从而优化实际卷积计算时的流程，来达到神经网络卷积计算加速的效果。

技术领域

本发明涉及计算机领域，并且更具体地涉及一种神经网络卷积的权重layout优化的方法、装置、设备及可读介质。

背景技术

随着互联网、大数据、云计算等技术的快速发展，人工智能(ArtificialIntelligence，简称AI)发展突飞猛进，在语音识别、图像识别、智能控制、复杂计算等各大领域涌现出一系列应用产品，同时也在各行各业得到的广泛的应用，而图像处理一直是人工智能领域的研究热点，比如汽车自动驾驶，通过实时的路况图像信息采集以及处理，可以直接控制汽车在路上的行驶行为；在人脸识别方面，通过对比信息库中数据，可以对人脸图像的面部特征进行识别从而辨认身份，而这在社会安防方面已经发挥了重要的作用。

目前对人工智能图像识别与分类方面的研究主要有两方面，一方面是如何能够提高图像识别过程中的准确率，相关学者提出了各种卷积神经网络，比如Resnet50卷积神经网络模型，通过引入残差结构大大提高图像识别的精度；另一方面是如何提高图像识别过程的速度，在这一方面，有学者提出了各种关于卷积计算的高效实现方法，比如ima2col、FFT、Winograd算法等，其中Winograd算法是基于最小滤波算法提出的一种快速卷积算法，它可以通过降低卷积的计算复杂度从而提升卷积计算效率，适用于小尺寸的卷积核进行卷积运算，同时相关研究人员在研究快速算法的同时将不同的网络结构应用在不同的计算设备上，比如FPGA、GPU等设备，GPU由于其特有的高并行、高带宽等优势，在图像识别的推理与训练提速方面发挥了重要的作用，而在Nvidia公司推出GPU上通过CUDA(Compute UnifiedDevice Architecture)实现的Tensorcore技术后，相比较不使用Tensorcore，对训练过程的处理速度可以提高三倍以上，因此通过Tensorcore技术实现性能优异卷积神经网络的相关算法程序可以大大提高图像识别与分类的速度。

在GPU上进行神经网络卷积计算时，原始数据会存放在显存中，也就是全局内存中，随后数据会被加载进kernel中的共享内存中，然后计算线程会从共享内存中读取数据到寄存器中，在寄存器中进行实际的计算。数据在共享内存加载到寄存器的速度比数据在全局内存中加载到寄存器的速度快很多，所以在计算时对于重复使用的数据会将数据先加载到共享内存，然后线程再由共享内存中读取数据进行实际的计算，但是共享内存的容量比较小，需要合理的进行使用。

发明内容

有鉴于此，本发明实施例的目的在于提出一种神经网络卷积的权重layout优化的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够使得数据在加载的时候做到全局内存的融合读写，又能避免累加器到全局内存时引入的共享内存数据读取过程，从而优化实际卷积计算时的流程，来达到神经网络卷积计算加速的效果。

基于上述目的，本发明的实施例的一个方面提供了一种神经网络卷积的权重layout优化的方法，包括以下步骤：

初始化累加器，由全局加载计算数据和权重数据到共享内存中后将计算数据加载到寄存器中；

将权重数据中的输出通道的维度按照预设算法进行优化；

使用优化后的权重进行矩阵乘计算；

将在累加器中计算后的数据写入全局内存中。

根据本发明的一个实施例，将权重数据中的输出通道的维度按照预设算法进行优化包括：