[发明专利]胶囊神经网络

权利要求书

1.一个或多个计算机和存储指令的一个或多个存储设备，当所述指令被所述一个或多个计算机执行时，使得所述一个或多个计算机实施：

神经网络，被配置为接收网络输入并为所述网络输入生成网络输出，其中：

所述神经网络包括排列成序列的多个层，包括多个胶囊层；

所述每个胶囊层包括相应的多个胶囊；并且

特定胶囊层中的每个特定胶囊被配置为：

接收相应的输入，包括：(i)由所述序列中在所述特定胶囊层之前的先前胶囊层的胶囊生成的输出，和(ii)所述先前胶囊层的胶囊和所述特定胶囊之间的最终路由因子，其中所述最终路由因子由路由子系统生成；并且

基于接收到的输入来确定特定胶囊输出，其中所述特定胶囊输出的维度大于1；以及

路由子系统，被配置为执行包括以下的操作：

接收由第一胶囊层中的胶囊生成的输出；

确定第一胶囊层的胶囊和所述序列中在第一胶囊层之后的第二胶囊层的胶囊之间的最终路由因子；以及

向第二胶囊层中的胶囊提供所述最终路由因子。

2.根据权利要求1所述的系统，其中，确定第一胶囊层的胶囊和所述序列中在第一胶囊层之后的第二胶囊层的胶囊之间的最终路由因子包括：

执行期望最大化路由算法的一次或多次迭代，其中所述期望最大化路由算法的每次迭代包括M步骤和E步骤，其中对于特定迭代：

所述M步骤包括，对于第二胶囊层中的每个第二胶囊：

确定所述特定迭代的来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票，包括：

通过将第一胶囊层的特定第一胶囊的输出乘以与所述特定第一胶囊相关联的第二胶囊的权重矩阵，确定来自特定第一胶囊的对第二胶囊的投票；

通过所述特定迭代的所述特定第一胶囊和第二胶囊之间的路由因子，对来自第一胶囊层的所述特定第一胶囊的对第二胶囊的投票进行加权；

确定所述特定迭代的表征来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票的分布的一个或多个参数的值；

至少部分基于所述特定迭代的表征第二胶囊的加权投票的分布的参数的值，确定所述特定迭代的与第二胶囊相关联的成本；

至少部分地基于所述特定迭代的与第二胶囊相关联的成本，确定所述特定迭代的第二胶囊的激活；和

所述E步骤包括至少基于所述特定迭代的第二胶囊层的胶囊的激活和所述特定迭代的表征与第二胶囊层的胶囊相关联的加权投票的分布的参数的值来确定下一次迭代的路由因子；

将最终路由因子确定为在所述期望最大化路由算法的最后一次迭代中确定的路由因子。

3.根据权利要求2所述的系统，其中，对来自第一胶囊层的所述特定第一胶囊的对第二胶囊的投票进行加权还包括：

通过所述特定第一胶囊的激活，对来自所述特定第一胶囊的对第二胶囊的投票进行加权。

4.根据权利要求2-3中任一项所述的系统，其中，所述特定迭代的与第二胶囊相关联的成本还至少部分地基于所述特定迭代的第一胶囊层的第一胶囊和第二胶囊之间的路由因子来确定。

5.根据权利要求2-4中任一项所述的系统，其中，所述特定迭代的与第二胶囊相关联的成本还至少部分地基于逆温度参数来确定。

6.根据权利要求2-5中任一项所述的系统，其中，所述特定迭代的表征第二胶囊的加权投票的分布的参数包括：

所述特定迭代的来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票的平均值；以及

所述特定迭代的来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票的方差。