[发明专利]用于操作神经网络的装置、对应的方法以及计算机程序产品

说明书

本公开的实施例涉及用于操作神经网络的装置、对应的方法以及计算机程序产品。一种实施例装置包括：第一处理系统，执行神经网络的第一部分从而提供第一中间输出，该第一部分包括一组神经网络层的第一子集；以及第二处理系统，接收第一中间输出，并操作神经网络的第二部分从而提供相应输出，该第二部分包括该组层的第二子集，第二处理系统被配置为向第一处理系统提供相应输出的输出信息函数，并且第一处理系统被配置为根据输出信息获得神经网络的最终输出。第二处理系统包括安全元件，该安全元件存储第二部分的模型，并且第二处理系统通过将输入信息应用于第二部分的模型来执行第二部分以提供相应输出。

相关申请的交叉引用

本申请要求于2020年1月24日提交的意大利申请号 102020000001462的优先权，其申请内容通过引用并入本文。

技术领域

本公开的实施例涉及用于操作神经网络的解决方案。本公开的实 施例具体涉及用于操作移动设备中的神经网络的解决方案。

背景技术

神经网络(NN)是一种计算架构，它试图通过使用模仿人脑操 作方式的过程来标识一组数据中潜在的关系。神经网络具有适应于变 化的输入的能力，使得网络可以在不重新设计输出准则的情况下产生 尽可能最好的结果。

例如，神经网络被广泛应用于提取图案和检测趋势，这些图案和 趋势过于复杂使人类或其他计算机技术都无法注意到。

参考图1，其中示意性地示出了操作神经网络XNN的装置10的 情况下，从正式的观点来看，神经网络架构可以被描述为网络或图形， 其包括多个节点，这些节点是神经网络单元，通过输入和输出每个单 元的边缘或连接进行耦合。每个边缘或连接与相应的权重相关联，使 得单元可以实行输入的线性组合以获得输出值。每个单元还可以包括 激活函数以控制单元的输出的振幅。阈值和偏置值还可以以本身已知 的方式与单元相关联。

在图1中示出了多线性感知型或深度前馈型神经网络XNN的示 例，其中如大部分神经网络一样，单元以连续的水平(称为层L_k， 其中指数k＝0、…、M)进行分组，使得只有从层的单元到连续层的 单元才有连接。

第一层L0的单元表示输入单元，输入单元没有先行条件，通常 不实现权重或激活函数，只保留输入值。

因此，即使严格地说，它们不是计算单元，仅代表信息进入网络 的入口点，也被称为输入单元和输入层IL。

例如，到输入单元的输入数据可以是图像，并且也可以是其他种 类的数字信号：声学信号、生物医学信号、来自陀螺仪和加速计的惯 性信号可以是这些信号的示例。

在图1中形成输出层OL(即，层L_M)的输出单元可以是计算单 元，其结果构成网络的输出。

最后，其他层L₁…L_M-1中的单元是计算单元，通常被定义为隐藏 层HL中的隐藏单元。在一个或多个实施例中，信息的传播方向可以 是单侧的，例如前馈型的，从输入层开始并通过隐藏层一直进行到输 出层。

假设网络具有L层，如上所述，可以采用用k＝1，2，…，M表 示层的约定，从输入层开始，穿过隐藏层直到输出层。

通过以一种可能的表示法来考虑层L_k：

u_k：表示层k的单元的数目，

表示层k的单元或其等效值，

W^(k)：表示从层k的单元到层(k+1)的单元的权重矩阵；未针 对输出层进行定义。

值是由单元实行的计算的结果，除了输入单元以 外，值是网络的输入值。这些值代表激活值，简而言 之，单元的“激活”。