[发明专利]一种图像处理装置及方法

说明书

本发明公开了一种图像处理装置及方法，装置包括：Eltwise层计算模块，CNN通用层计算模块和内部缓存模块，CNN通用层计算模块分别与Eltwise层计算模块及内部缓存模块连接；其中CNN通用层计算模块对分支图像数据进行CNN计算，确定第一计算结果，根据分支标识信息，判断分支图像数据是否为第一分支数据；如果是，采用第一计算结果对内部缓存模块中缓存的数据更新；如果否，则将第一计算结果发送给Eltwise层计算模块；Eltwise层计算模块与内部缓存模块连接用于根据内部缓存模块中缓存的数据和第一计算结果，进行Eltwise计算，确定第二计算结果，减少了数据读取写出耗时，节省带宽外部存储器资源。

技术领域

本发明涉及芯片设计技术领域，尤其涉及一种图像处理装置及方法。

背景技术

随着Resnet(Residual Neural Network，残差神经网络)网络在图像分类比赛方面的优异表现，Resnet及相关类Resnet卷积神经网络重要性在深度学习学术界和工业界越来越受到重视。Resnet通过跨层(Skip-Layer)的方式，解决了梯度传播的问题，并可以实现深度方面的多模型融合。Resnet中除了卷积、池化等通用CNN(Convolutional NeuralNetwork，卷积神经网络)层外，大量使用Eltwise层以实现不同分支的合并及元素级操作，如图1所示为34层Resnet中的一段，包括两个分支的数据，其中3*3conv,64表示卷积计算，Eltwise表示Eltwise计算，使用Eltwise层分别对两个分支的数据进行Eltwise计算并将最后一个分支的计算结果进行输出。Caffe等深度学习工具采用4维数组用于存储和交换数据，维度从低到高为width、height、channels、num，width和height可以简单理解为图像的宽度和高度，channels可以简单理解为颜色通道RGB，num可以简单理解为第几帧数据。Eltwise层所有输入分支的4个维度必须完全一致，主要支持3种操作：product(点乘)、sum(相加减)和max(取最大值)。

目前主流的CNN计算硬件对Eltwise层的计算缺乏友好支持：一种是完全不支持Eltwise层的计算，需通过额外的硬件设备，如GPU(Graphics Processing Unit，图形处理器)芯片、DSP(Digital Signal Processing，数字信号处理)芯片等实现Eltwise层的计算；另一种是对每个分支的CNN层独立进行计算，将每个分支的计算结果分别保存到外部存储设备的不同地址空间中，外部存储设备可以为DDR(Double Data Rate，双倍速率同步动态随机存储器)，最后将每个分支对应的计算结果从外部存储设备中读回，进行Eltwise层的计算后再输往外部存储设备，由外部存储设备进行存储。

Resnet网络在某一硬件平台耗时分布如下表所示：