[发明专利]具有可分离卷积层的图像处理神经网络

说明书

神经网络系统被配置为接收输入图像以及生成输入图像的分类输出。该神经网络系统包括：可分离卷积子网络，其包括一个接一个地以堆叠排列的多个可分离卷积神经网络层，其中每个可分离卷积神经网络层被配置为：在处理可分离卷积神经网络层的输入期间分别应用深度卷积和点卷积以生成层输出。

相关申请的交叉引用

本申请要求2016年10月6日提交的美国临时申请序列号62/405,181的优先权。在先申请的公开内容被认为是本申请公开内容的一部分，并通过引用结合于此。

技术领域

本说明书涉及使用深度神经网络(例如，卷积神经网络)处理图像。

背景技术

神经网络是机器学习模型，其采用一层或多层非线性单元来预测对于接收到的输入的输出。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中另一层(例如，下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值从接收到的输入生成输出。

卷积神经网络通常包括卷积神经网络层，并且在某些情况下，包括完全连接的神经网络层和其他种类的神经网络层。卷积神经网络层具有稀疏连接性，其中卷积层中的每个节点仅从下一个最低神经网络层中的节点子集接收输入。一些卷积神经网络层具有与该层中的其他节点共享权重的节点。然而，完全连接层中的节点从下一个最低神经网络层中的每个节点接收输入。

发明内容

本说明书描述了在一个或多个位置中的一个或多个计算机上被实施为计算机程序的神经网络系统。

通常，一个创新方面可以体现在由一个或多个计算机实施的神经网络系统中。该神经网络系统被配置为接收输入图像以及生成输入图像的分类输出。该神经网络系统包括：可分离卷积子网络，其包括一个接一个地以堆叠排列的多个可分离卷积神经网络层，其中每个可分离卷积神经网络层被配置为在处理可分离卷积神经网络层的输入期间分别应用深度卷积(depthwise convolution)和点卷积(pointwise convolution)两者以生成层输出。神经网络系统还可以包括输出子网络，该输出子网络被配置为接收由可分离卷积子网络生成的可分离卷积输出，以及处理该可分离卷积输出以生成输入图像的分类输出。该神经网络系统还可以包括输入子网络，该输入子网络被配置为接收输入图像以及处理该输入图像以生成初始输出。输入子网络可以包括一个或多个卷积神经网络层。

可分离卷积子网络可以包括一个或多个入口模块，其中入口模块被配置为接收初始输出，以及共同处理初始输出以生成入口输出。每个入口模块可以包括：相应的第一直通卷积层，被配置为处理入口模块的模块输入以生成第一直通输出；可分离卷积神经网络层的相应的第一堆叠，其中第一堆叠中的层被配置为共同处理模块输入以生成第一堆叠输出；相应的最大池化层，被配置为对第一堆叠输出执行最大池化以生成最大池化输出；以及相应的第一拼接(concatenation)层，被配置为拼接第一直通输出和最大池化输出以生成入口模块的入口模块输出。可分离卷积子网络可以包括三个入口模块。第一直通卷积层可以是1×1卷积层。第一堆叠中的可分离卷积神经网络层可以被修正线性单元激活层分离。第一堆叠中的一个或多个可分离卷积神经网络层之后可以是批量归一化层。

可分离卷积子网络可以包括一个或多个中间模块，其中中间模块被配置为接收入口输出，以及共同处理入口输出以生成中间输出。每个中间模块可以包括：相应的第二直通卷积层，被配置为处理中间模块的模块输入以生成第二直通输出；可分离卷积神经网络层的相应的第二堆叠，其中第二堆叠中的层被配置为共同处理模块输入以生成第二堆叠输出；以及相应的第二拼接层，被配置为拼接第二直通输出和第二堆叠输出以生成中间模块的中间模块输出。可分离卷积子网络可以包括八个中间模块。第二直通卷积层可以是1×1卷积层。第二堆叠中的每个可分离卷积神经网络层之前可以是修正线性单元激活层。第二堆叠中的一个或多个可分离卷积神经网络层之后可以是批量归一化层。