[发明专利]基于重复使用小规模卷积神经网络模块的神经网络系统

说明书

本文公开了基于有限分辨率的小规模CNN模块的卷积神经网络(CNN)系统的各实施例。系统包括用于接收适当高分辨率输入图像的接收模块，能将输入图像划分为有适当重叠的子图像；第一处理级包括仅能处理有限分辨率图像的小规模硬件CNN模块,能按顺序处理每个子图像，生成相应的输出；这些输出被另一个模块合并成一个完整的特征图集合。系统的第二处理级进一步处理合并后的特征图集合，并输出对输入图像内容的至少一个预测。本设计的结果等价于直接把一个大规模CNN系统作用到高分辨率输入图像的结果，因此非常适用于低端嵌入式系统。

技术领域

本公开一般涉及机器学习和人工智能领域，更具体而言，涉及使用有限分辨率的小规模的卷积神经网络(CNN)模块来实现大规模卷积神经网络的系统、设备和技术。

背景技术

深度学习(DL)是机器学习和人工神经网络的一个分支，通过使用具有很多个处理层的人工神经网络来试图建模数据中的高层次抽象。典型的DL架构可包括许多层的神经元和数百万甚至数亿个参数。可以在配备有GPU的高速计算机上用海量数据训练这些参数，并由在深层网络也能适用的新的训练算法来指导，诸如修正线性单元(ReLU)、漏失(或丢弃)、数据集增强，以及随机梯度下降(SGD)。

在现有的DL架构之中，卷积神经网络(CNN)是最流行的架构之一。虽然CNN的核心思想20多年前就被发明了，但是，CNN的真正的能力只是在深度学习理论的近期发展之后才被认识到。到目前为止，CNN已经在许多人工智能和机器学习领域，诸如图像分类、图像字幕生成、可视问答以及自动驾驶汽车中取得了巨大成功。

然而，现有的CNN系统的复杂度仍非常高。例如，著名的大规模的CNN之一，AlexNet包括6000万个参数，并需要超过每秒7.29亿次FLOPs(浮点运算数)才能对单一图像进行分类，而来自牛津大学的VGG网络包括19层和1亿4400万个参数，对单一图像分类涉及的FLOPs的数量是196亿。令人遗憾的是，实现这样的高复杂度网络常常要求大量的昂贵的硬件资源，诸如NvidiaTM GPU核和大规模的FPGA芯片。例如，每片NvidiaTM TK1芯片需要花费至少US$80，而更强大的NvidiaTM TX1芯片花费至少US$120。对于常常受到成本约束的嵌入式系统，这些芯片过于昂贵。此外，这些芯片还要求比传统的嵌入式平台更大的功率才能操作，从而使得它们不适合许多需要基本的深度学习功能但对成本和功耗有严格要求的应用领域。

因此，对于许多嵌入式系统应用，现有的CNN架构和系统的成本效益并不理想。

发明内容

本公开所描述的各实施例提供基于使用小规模,低成本的硬件CNN模块构建较大规模卷积神经网络(CNN)的各种示例。所公开的CNN架构和系统可以在资源有限的嵌入式系统中实现，以使这些系统可以执行通常需要大规模,昂贵的CNN系统才能施行的任务。例如，所公开的CNN架构和系统使得可以把低成本的具有CNN功能的嵌入式系统用到高复杂度的CNN应用上，诸如在资源有限的嵌入式系统上处理原本不可用类似系统处理的高分辨率输入图像。