[发明专利]具有可分离卷积层的图像处理神经网络

权利要求书

1.一种由一个或多个计算机实施的神经网络系统，其中，所述神经网络系统被配置为接收输入图像以及生成所述输入图像的网络输出，并且其中所述神经网络系统包括：

可分离卷积子网络，其包括一个接一个地以堆叠排列的多个可分离卷积神经网络层，其中每个可分离卷积神经网络层被配置为：

在处理所述可分离卷积神经网络层的输入期间分别应用深度卷积和点卷积两者以生成层输出；和

输出子网络，其被配置为接收由所述可分离卷积子网络生成的可分离卷积输出，以及处理所述可分离卷积输出以生成所述输入图像的网络输出。

2.根据权利要求1所述的神经网络系统，还包括：

输入子网络，其被配置为接收所述输入图像以及处理所述输入图像以生成初始输出。

3.根据权利要求2所述的神经网络系统，其中，所述输入子网络包括一个或多个卷积神经网络层。

4.根据权利要求2所述的神经网络系统，其中，所述可分离卷积子网络包括一个或多个入口模块，并且其中所述入口模块被配置为接收所述初始输出，以及共同处理所述初始输出以生成入口输出。

5.根据权利要求4所述的神经网络系统，其中，每个入口模块包括：

相应的第一直通卷积层，被配置为处理所述入口模块的模块输入以生成第一直通输出；

相应的可分离卷积神经网络层的第一堆叠，其中，所述第一堆叠中的层被配置为共同处理所述模块输入以生成第一堆叠输出；

相应的最大池化层，被配置为对第一堆叠输出执行最大池化以生成最大池化输出；和

相应的第一拼接层，被配置为拼接第一直通输出和最大池化输出以生成所述入口模块的入口模块输出。

6.根据权利要求4所述的神经网络系统，其中，所述可分离卷积子网络包括三个入口模块。

7.根据权利要求5所述的神经网络系统，其中，所述第一直通卷积层是1×1卷积层。

8.根据权利要求5所述的神经网络系统，其中，所述第一堆叠中的可分离卷积神经网络层由修正线性单元激活层分离。

9.根据权利要求5所述的神经网络系统，其中，所述第一堆叠中的一个或多个可分离卷积神经网络层之后是批量归一化层。

10.根据权利要求4所述的神经网络系统，其中，所述可分离卷积子网络包括一个或多个中间模块，并且其中所述中间模块被配置为接收所述入口输出以及共同处理所述入口输出以生成中间输出。

11.根据权利要求10所述的神经网络系统，其中，每个中间模块包括：

相应的第二直通卷积层，被配置为处理所述中间模块的模块输入以生成第二直通输出；

相应的可分离卷积神经网络层的第二堆叠，其中，所述第二堆叠中的层被配置为共同处理所述模块输入以生成第二堆叠输出；和

相应的第二拼接层，被配置为拼接第二直通输出和第二堆叠输出以生成所述中间模块的中间模块输出。

12.根据权利要求10所述的神经网络系统，其中，所述可分离卷积子网络包括八个中间模块。

13.根据权利要求11所述的神经网络系统，其中，所述第二直通卷积层是1×1卷积层。

14.根据权利要求11所述的神经网络系统，其中，所述第二堆叠中的每个可分离卷积神经网络层之前是修正线性单元激活层。

15.根据权利要求11所述的神经网络系统，其中，所述第二堆叠中的一个或多个可分离卷积神经网络层之后是批量归一化层。