[发明专利]基于OpenCL的卷积神经网络并行处理方法

说明书

本发明提出了一种基于OpenCL的卷积神经网络并行处理方法，主要解决现有卷积神经网络并行化处理中模型复杂度高、运行速度缓慢的问题。实现步骤为：获取图像数据矩阵的重组矩阵；获取权值矩阵；分块并行计算权值矩阵与重组矩阵的乘积；对乘积矩阵进行并行批量归一化；输出特征值矩阵。本发明利用计算机图形处理器GPU中大量的并行计算单元，将卷积神经网络的卷积过程转化为大型矩阵乘法，分块并行计算权值矩阵与重组矩阵的乘积，简化了卷积层数据的处理过程，优化了数据的访存方式，提高了数据的复用率，使得本发明大幅提高了卷积神经网络的运行速度。

技术领域

本发明属于计算机技术领域，更进一步涉及计算机视觉和深度学习技术领域中的一种使用开放计算语言OpenCL(Open Computing Language)的卷积神经网络并行处理方法。本发明可以实现对卷积神经网络的图像卷积过程进行加速，可用于计算机视觉的实时目标检测。

背景技术

卷积神经网络的卷积过程需要进行大量的浮点运算，当卷积神经网络的层数不断加深时，CPU的执行效率远远不能满足要求。而GPU提供了大量的并行计算单元，OpenCL可以在主机端对GPU进行编程，利用CPU+GPU的异构架构可以实现对卷积神经网络的图像卷积过程进行加速。

长沙马沙电子科技有限公司在其申请的专利文献“一种基于大规模高性能集群的卷积神经网络并行处理方法”(申请日：2014年11月21日，申请号：2014106748603，公开号：CN104463324 A)中公开了一种基于大规模高性能集群的卷积神经网络并行处理方法。该方法首先将要训练的网络模型构建出多个副本，每个副本的模型参数均相同，副本的个数与高性能集群的节点数相同，每个节点上分布一个模型副本；选定一个节点作为主节点，负责模型参数的广播与收集。其次，将训练集分为若干子集，每次将训练子集分发给除主节点之外的其余子节点，共同进行参数梯度的计算，并将梯度值累计，累计值用来更新主节点模型参数，将更新后的模型参数广播给各个子节点，直到模型训练终止。该方法存在不足的是，通过构建网络模型副本的方法实现卷积神经网络的并行处理，并行化程度依赖于集群的节点数，模型复杂度高，可移植性差，成本较高，大大限制了其应用范围。

西安电子科技大学在其申请的专利文献“基于OpenCL标准的卷积神经网络加速方法”(申请日：2017年7月5日，申请号：201710543986.0，公开号：CN107341127 A)中公开了一种基于OpenCL标准的卷积神经网络加速方法。该方法首先将原始的三维图像数据以及权重数据到GPU全局内存中，再将图像数据传输到GPU的局部内存中，初始化参数、构造激活函数后计算卷积神经网络的图像数据，最后将计算结果传回主机内存。该方法的不足之处是，该方法是将数据加载至GPU局部内存后进行卷积运算，数据的复用率较低，在访存数据过程中需要耗费大量时间，导致卷积层运行速度慢。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于OpenCL的卷积神经网络并行处理方法，用于解决现有卷积神经网络并行化处理中模型复杂度高、运行速度缓慢的问题。

实现本发明目的的思路是，根据图像卷积原理，在GPU中将图像数据矩阵转化为一个二维的重组矩阵，将所有卷积核的权值组成一个二维的权值矩阵，将图像的卷积过程转化为权值矩阵与重组矩阵相乘的过程，再利用矩阵分块乘法的原理将矩阵分块并加载至OpenCL工作项的私有内存中进行相乘，对分块矩阵的乘积进行累加得到重组矩阵和权值矩阵的乘积矩阵。然后，在GPU中对乘积矩阵进行并行批量归一化。最后，使用带泄漏的线性整流函数将乘积矩阵中每个元素进行激活，得到图像的特征值矩阵。

本发明的具体步骤如下：

(1)获取图像数据矩阵的重组矩阵：

(1a)在主机内存中读取图像数据矩阵；

(1b)在GPU全局内存中创建图像数据矩阵缓存对象，将图像数据矩阵从主机内存传输至图像数据矩阵缓存对象中；