[发明专利]采用伪单元填充图像传感芯片进行首层卷积层处理的方法

说明书

本发明实施例提供一种采用填充后图像传感芯片进行首层卷积层处理的方法，该方法包括：基于填充后图像传感芯片中新的焦平面的大小、首层卷积层中卷积核的个数和首层卷积层中卷积核的大小在所述新的焦平面上周期性的排列所述首层卷积层；采用新的焦平面对各处理单元中采集的图像的各像素值进行处理，输出对应的特征图；其中，所述新的焦平面是在原始焦平面上采用伪处理单元填充使得卷积核可以均匀有规律地在新的焦平面上排列得到，伪处理单元仅包括用于保存卷积核权值的寄存器。本发明实施例提供的方法，实现了减少卷积处理的耗能和时间，并降低了控制复杂度。

技术领域

本发明涉及图像传感器芯片技术领域，尤其涉及一种采用伪单元填充图像传感芯片进行首层卷积层处理的方法。

背景技术

得益于卷积神经网络(CNN)的发展，智能视觉处理任务的准确率性能获得了极大的提升，如物体识别、语义分割等。在物联网时代，面向智能视觉处理应用的设备广泛地分布在终端，实现与用户的无缝交互。为了不遗漏任何关键事件，一些用于智能视觉应用的设备需要以常开的模式工作，例如处于监视目的针对特定对象的检测和识别。然而，这种连续感知需求巨大的能量开销，这对于大多数电池驱动的设备非常不利。现有的传统数字系统并不能够满足低功耗要求，问题在于需要将图像从模拟域转换并传输到数字域，而这消耗了大量的能量和带宽。

传感器内处理(PIS)概念的提出成为解决上述问题的可行办法，图1为现有技术提供的处理单元阵列构成焦平面的示意图，如图1所示，焦平面(Focal Plane)由处理单元(PE，Processing Element)阵列组成，感光并生成图像，图像分辨率由处理单元阵列大小决定，每个处理单元存储一个像素点的像素值，因此，图像的大小与处理单元阵列的大小相同。处理单元内集成了三个功能模块，分别为：1、像素模块，如图1所示，像素模块用Pixel标识，位于PE的左下方，用于接受光强并进行光电转换，获得的电压值传递给计算模块用于计算；2、数字寄存器，如图1所示，数字寄存器用Digital Reg标识，位于PE的右下方，用于存储CNN中的权值，此权值可以在PE内提供给计算模块用于计算，也可以通过权值右移或下移传递到右边相邻或者下边相邻的PE内。PE阵列中的任一行中最后一个PE的寄存器输出连接到所述任一行的第一个PE的输入，因此权值在行间可以进行循环右移；同理，同列的寄存器也是首尾相连，权值在列间可以进行循环下移；3、计算模块，如图1所示，计算模块用AnalogComputation Circuit标识，位于PE的上方，用于利用像素模块产生的电压值和寄存器内保存的权值进行乘累加等计算操作并产生计算结果，对于2×2卷积中的4个PE，各PE上的计算模块也与其相邻的PE上的计算模块也相连接，当左上角的PE作为卷积结果输出位置时，其他三个PE上像素模块产生的电压值和寄存器内保存的权值的乘积都会传送到左上角的PE上，与左上角PE上像素模块产生的电压值和寄存器内保存的权值的乘积进行累加，作为卷积结果输出，而卷积核中的任一PE所在的位置都可以作为卷积结果输出位置，根据实际需要进行设置。除此之外，各处理单元还可以在相邻范围内进行任意规模的组合用以完成不同卷积核大小的计算。图1展示了卷积核大小为2×2和3×3两种情况。

根据卷积神经网络的计算特点，单个卷积核内的权值需要在整张图像上进行平移，通过由左至右、由上至下的方式遍历焦平面的所有位置。同时，由于卷积神经网络内有多个卷积核，因此卷积核需要同时平铺在焦平面上。现有技术都是基于图像传感芯片内原始焦平面的大小进行首层卷积层包含的卷积核的排布，这种排布方式为直接调度，即重复最大次数的首层卷积层的卷积核以尽量占满原始焦平面，保证原始焦平面上覆盖的卷积核数量最多，计算的并行度最高，但是由于原始焦平面大小、首层卷积层包括的卷积核大小和首层卷积层包括的卷积核个数的不同，直接调度可能无法在原始焦平面上均匀、有规律地分布首层卷积层包含的卷积核，这就导致了一些冗余的卷积，同时由于一帧的卷积数与一帧的能量消耗和处理时间成正比，也浪费了大量的能量和时间；其次，在完成整个图像帧的卷积后，需要几个额外的移位来重新设置卷积核的分布，这增加了控制的复杂性。