[发明专利]一种基于脉动阵列卷积运算数据复用的图像处理方法

说明书

本发明涉及图像处理领域，具体涉及一种基于脉动阵列卷积运算数据复用的图像处理方法。本发明方法在脉动阵列结构的基础上进行拓展，通过对卷积核旋转处理实现了卷积核在图像上滑动的效果；通过图像的重排列实现了图像和旋转后的卷积核的对应。这一改变极大的改善了嵌入式设备的性能。对比于传统的卷积运算转化为矩阵乘法运算的内存开销，本方法的内存开销减少了近70％。在图像边缘检测的实现效果中，基于CycloneVSoC‑FPGA平台，设计了本方法对应的图像边缘识别加速系统，对卷积运算进行了加速验证。在测试中，卷积核旋转脉动阵列结构的处理速度为0.011秒，对比于ARMCoretexA9处理器，速度提升了16.27倍，对比于i5‑7700 2.8GHz CPU，速度提升了9倍。

技术领域

本发明涉及图像处理领域，具体涉及一种基于脉动阵列卷积运算数据复用的图像处理方法。

背景技术

图像边缘检测是图像处理学研究的热点之一，是图像分析和图像识别领域的基础性课题。图像边缘检测的核心是卷积运算，卷积运算贯穿于图像识别的处理整个过程，因此卷积运算的加速对于图像处理领域意义重大。

脉动阵列结构发明于上世界80年代，而受制于当时的半导体制造工艺，脉动阵列结构并没有太多的实际应用。随着半导体技术的持续演进，芯片的存储和处理能力得到大幅度提升，为脉冲阵列的发展提供了硬件的基础和实现的可能，以及大数据和深度学习高速发展的实际需求推动了其研究的动力，脉动阵列最终在大数据处理、图像处理等方面得到了实际应用。

卷积运算在硬件设计过程中，通常以矩阵乘法的方式实现。矩阵乘法运算简单且规则的特性适合于脉动阵列，而且脉动阵列可以实现充分的流水，因此脉动阵列可实现较好的卷积运算加速效果。

卷积运算变换为矩阵运算后，运算过程中存在大量重复的输入数据，使得内存开销变大。而传统的脉动阵列使用方法无法实现数据复用的效果。

发明内容

本发明的目的是提出一种基于脉动阵列卷积运算数据复用的图像处理方法，以充分实现数据复用，减少内存开销，实现卷积运算的加速。

本发明提出的基于脉动阵列卷积运算数据复用的图像处理方法，如下步骤：

(1)将待处理图像的R、G、B三通道数据加权求和，得到待处理图像的灰度图

(2)以(2Nλ-1)×(2Nλ-1)的窗口大小在待处理图像的灰度图上进行滑动取值，滑动的步长为N-1；

其中，N为卷积核的尺寸，λ为卷积核的移动步长，这里的卷积核指Sobel算子，包括x方向和y方向两个矩阵；

(3)根据卷积核移动规律，将步骤(2)得到的待处理图像D₁₁、D₁₂、D₁₃…D_1(2Nλ-1)、D₂₁…D_{(2Nλ-1)(2Nλ-1)}进行重排列，得到N²行图像数据；

其中，D₁₁表示图像中第一行第一列的元素，D_{(2Nλ-1)(2Nλ-1)}表示图像中第2Nλ-1行第2Nλ-1列的元素；