[发明专利]胶囊神经网络

说明书

用于神经网络的方法、系统和装置，包括编码在计算机存储介质上的计算机程序，该神经网络被配置为接收网络输入并为网络输入生成网络输出。神经网络包括排列成序列的多个层，包括多个胶囊层。特定胶囊层中的每个特定胶囊被配置为接收相应输入，包括(i)由该序列中在特定胶囊层之前的先前胶囊层的胶囊生成的输出，和(ii)先前胶囊层的胶囊和特定胶囊之间的最终路由因子，其中最终路由因子由路由子系统生成。特定胶囊层中的每个特定胶囊被配置为基于接收到的输入来确定特定胶囊输出，其中特定胶囊输出的维度大于1。

背景技术

本说明书涉及使用神经网络来处理数据。

神经网络是机器学习模型，它采用一个或多个非线性单元层来为接收到的输入预测输出。一些神经网络除了输出层之外，还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层(即下一隐藏层或输出层)的输入。网络的每一层根据相应参数集的当前值从接收到的输入生成输出。

发明内容

本说明书描述了被实施为在一个或多个位置的一个或多个计算机上的计算机程序的胶囊神经网络。

根据第一方面，提供了一种神经网络，被配置为接收网络输入并为网络输入生成网络输出，其中：神经网络包括排列成序列的多个层，包括多个胶囊层；每个胶囊层包括相应的多个胶囊；并且特定胶囊层中的每个特定胶囊被配置为：接收相应输入，包括(i)由该序列中在特定胶囊层之前的先前胶囊层的胶囊生成的输出，和(ii)先前胶囊层的胶囊和特定胶囊之间的最终路由因子，其中最终路由因子由路由子系统生成；并且基于接收到的输入来确定特定胶囊输出，其中特定胶囊输出的维度大于1；以及路由子系统，被配置为执行包括以下的操作：接收由第一胶囊层中的胶囊生成的输出；确定第一胶囊层的胶囊和该序列中在第一胶囊层之后的第二胶囊层的胶囊之间的最终路由因子；以及向第二胶囊层中的胶囊提供最终路由因子。

在一些实施方式中，确定第一胶囊层的胶囊和序列中在第一胶囊层之后的第二胶囊层的胶囊之间的最终路由因子包括：执行期望最大化路由算法的一次或多次迭代，其中期望最大化路由算法的每次迭代包括M步骤和E步骤，其中对于特定迭代：M步骤包括：对于第二胶囊层中的每个第二胶囊：确定特定迭代的来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票，包括：通过将来自第一胶囊层的特定第一胶囊的输出乘以与特定第一胶囊相关联的第二胶囊的权重矩阵，确定特定第一胶囊的对第二胶囊的投票；通过特定迭代的特定第一胶囊和第二胶囊之间的路由因子，对来自第一胶囊层的特定第一胶囊的对第二胶囊的投票进行加权；确定特定迭代的表征来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票的分布的一个或多个参数的值；至少部分基于特定迭代的表征对第二胶囊的加权投票的分布的参数的值，确定特定迭代的与第二胶囊相关联的成本；至少部分地基于特定迭代的与第二胶囊相关联的成本，确定特定迭代的第二胶囊的激活；并且E步骤包括至少基于特定迭代的第二胶囊层的胶囊的激活和特定迭代的表征与第二胶囊层的胶囊相关联的加权投票的分布的参数的值，确定下一次迭代的路由因子；将最终路由因子确定为在期望最大化路由算法的最后一次迭代中确定的路由因子。

在一些实施方式中，对来自第一胶囊层的特定第一胶囊的对第二胶囊的投票进行加权还包括：通过特定第一胶囊的激活，对来自特定第一胶囊的对第二胶囊的投票进行加权。

在一些实施方式中，还至少部分基于特定迭代的第一胶囊层的第一胶囊和第二胶囊之间的路由因子，确定特定迭代的与第二胶囊相关联的成本。

在一些实施方式中，还至少部分地基于逆温度参数，确定特定迭代的与第二胶囊相关联的成本。

在一些实施方式中，特定迭代的表征第二胶囊的加权投票的分布的参数包括：特定迭代的来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票的平均值；以及特定迭代的来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票的方差。