[发明专利]一种基于卷积神经网络的图像处理方法及装置

说明书

本申请提供一种基于卷积神经网络的图像处理方法及装置，该技术可根据预设的图像处理策略中切割处理信息及对应子图像的卷积运算策略，将待处理图像执行一次或多次切割，每次切割为多个子图像，对切割后的各子图像独立依次进行卷积运算；在预设的子图像汇聚点汇聚所述各子图像的卷积运算结果；执行剩余卷积运算，获得最终卷积运算结果；将所述结果输出至外部存储单元。仅需要在中间的卷积运算结果再次切割时，输出至外部存储单元，并再次读取执行前述图像切割、卷积运算、汇聚等步骤，不再需要将每个卷积层运算后的中间数据输出至外部存储单元，再读入作为下一个卷积层的输入；降低了处理器外部存储单元的带宽，显著提高图像处理系统的整体性能。

技术领域

本申请涉及图像处理领域，尤其涉及一种基于卷积神经网络的图像处理的技术。

背景技术

卷积神经网络(Convolutional Neural Network，CNN)作为人工神经网络的一种，已成为当前图像处理领域的研究热点。卷积神经网络是一个多层的神经网络，每层由多个三维平面构成，而每个平面都是由不同的卷积核卷积而成。卷积神经网络的每个神经网络层都会生成大量数据。上层的输出成为下一层的输入。由于神经网络可以具有多个层，因此卷积神经网络的卷积运算量非常大，而且每层网络都需要卷积运算，做一次图像处理需要多层卷积核及多平面卷积。

现有技术中，每个神经网络层之间生成的数据需要卷积神经网络处理器的外部存储器(如GDDR或DDR或HBM存储器)进行缓存；也即对待识别图像执行卷积层运算过程中，每个卷积层之间的数据均需要输出至外部存储器，然后再读取至处理器内部。每个神经网络层都会产生大量数据，对处理器外部存储器的带宽要求就非常高。即使处理器外部存储器的带宽足够大，也可能因为卷积运算数据流量太大影响卷积神经网络系统的性能。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请的一个目的是提供一种基于卷积神经网络的图像处理方法及装置，以解决图像处理过程中降低卷积神经网络处理器外部存储器的带宽，以及卷积神经网络处理器性能优化等问题。

根据本申请的一个方面，提供了一种基于卷积神经网络的图像处理方法，该方法包括：

根据预设的图像处理策略中该次切割对应子图像数量及其大小相关信息，将读取的待处理图像切割为多个子图像；

根据预设的图像处理策略中所述子图像对应的卷积运算策略，对切割后的各子图像独立依次进行卷积运算；

根据预设的图像处理策略中的子图像汇聚点信息，在对应的汇聚点汇聚所述各子图像的卷积运算结果；

在根据预设的图像处理策略信息，所述卷积结果不需要进行再次切割的情况下，执行剩余卷积运算，并获得最终卷积运算结果；

将所述最终卷积运算结果输出至外部存储单元。

根据本申请的另一个方面，提供一种基于卷积神经网络的图像处理装置，所述装置包括：

图像切割单元，用于根据预设的图像处理策略中该次切割对应子图像数量及其大小相关信息，将读取的待处理图像切割为多个子图像；

子图像卷积单元，用于根据预设的图像处理策略中所述子图像对应的卷积运算策略，对切割后的各子图像独立依次进行卷积运算；

子图像汇聚单元，用于根据预设的图像处理策略中的子图像汇聚点信息，在对应的汇聚点汇聚所述各子图像的卷积运算结果；

剩余卷积运算执行单元，用于在根据预设的图像处理策略信息，所述卷积结果不需要进行再次切割的情况下，执行剩余卷积运算，并获得最终卷积运算结果；

图像处理结果输出单元，将所述最终卷积运算结果输出至外部存储单元。