[发明专利]卷积神经网络的迁移学习的系统、计算机实现方法、介质

说明书

本发明涉及卷积神经网络的迁移学习的系统、计算机实现方法、介质。描述了用于将针对彩色(RGB)图像设计和训练的卷积神经网络(CNN)转换成关于红外(IR)图像或灰阶图像工作的CNN。转换后的CNN包括一系列神经元卷积层，这些神经元卷积层被布置在具有对应深度切片的一组内核中。使用转换后的CNN来执行对象检测。基于对象检测来控制自主装置的机械组件。

政府许可权利

本发明是在美国政府合同号N00014-15-C-0091的政府支持下作出的。政府可以拥有本发明的某些权利。

相关申请的交叉引用

本发明是2017年5月24日在美国提交的题为“Transfer Learning ofConvolutional Neural Networks from Visible Color(RBG)to Infrared(IR)Domain”的美国临时申请No.62/510,741的非临时专利申请，其全部内容通过引用并入本文中。

技术领域

本发明涉及用于迁移学习的系统，并且更具体地，涉及将针对彩色图像设计和训练的卷积神经网络(CNN)转换成对红外(IR)图像或灰阶图像起作用的CNN的用于迁移学习的系统。

背景技术

卷积神经网络(CNN)(深度)学习是多个计算机视觉任务的当前水平，计算机视觉任务包括对象检测、对象识别、场景分类和图像标注(captioning)。在公共和学术领域中的绝大多数CNN工作都是关于可见光谱中的彩色图像的。这包括CNN训练所需的可用大图像数据集以及经训练网络的所得到权重文件。这些数据集和经训练网络几乎不能用于处理红外(IR)图像。

从头开始训练IR CNN是可能的，但是由于缺少大IR图像数据集而受到限制。收集图像、标记类和策划数据集需要大量努力，在IR中甚至比RGB(红、绿、蓝)需要更多努力。

因此，持续需要用于将RGB CNN直接转换到IR域的方法。

发明内容

本发明涉及用于迁移学习的系统，并且更具体地，涉及将针对彩色图像设计和训练的卷积神经网络(CNN)转换成对红外(IR)或灰阶图像起作用的CNN的用于迁移学习的系统。该系统包括一个或更多个处理器以及非暂时性计算机可读介质，该非暂时性计算机可读介质具有在其上编码的可执行指令，使得当执行该指令时，该一个或更多个处理器执行多个操作。将针对彩色RGB输入的预训练CNN转换成可以应用至红外(IR)输入图像和灰度输入图像的CNN，得到转换后的CNN。该转换后的CNN包括一系列神经元卷积层，其中，各个卷积层处的神经元被布置在具有对应深度切片的一组内核中。使用该转换后的CNN来执行对象检测。基于对象检测来控制自主装置的机械组件。

在另一方面，该系统将第一卷积层的内核从RGB转换到灰阶。

在另一方面，各个内核被视为RGB 3-通道图像并被转换成单通道灰阶图像。

在另一方面，该系统识别并移除具有低于预定阈值的方差(variance)的第一卷积层内核，并从第二卷积层中的被识别内核移除对应深度切片。

在另一方面，该系统识别具有低于预定阈值的方差的第一卷积层内核并将该第一卷积层内核合并成单个内核，并且合并来自第二卷积层中的所述被识别内核的对应深度切片。

在另一方面，该系统从转换后的CNN中提取高维特征，并使用所提取的高维特征来训练分类器。

在另一方面，自主装置是自主交通工具。

在另一方面，自主装置是机器人。