[发明专利]将循环人工神经网络中的活动特征化以及编码和解码信息

说明书

用于将循环人工神经网络中的活动特征化以及编码和解码信息的方法、系统和装置，包括被编码在计算机存储介质上的计算机程序。在一方面，一种设备可以包括神经网络，所述神经网络被训练以：响应于第一输入而产生在源神经网络中响应于所述第一输入而出现的活动的模式中的拓扑结构的第一表示的近似，响应于第二输入而产生在所述源神经网络中响应于所述第二输入而出现的活动的模式中的拓扑结构的第二表示的近似，以及响应于第三输入而产生在所述源神经网络中响应于所述第三输入而出现的活动的模式中的拓扑结构的第三表示的近似。

背景技术

本说明书涉及循环人工神经网络(recurrent artificial neural network)中的活动的特征化。活动的特征化可以被用在例如决策时刻(decision moment)的识别中，以及被用在在诸如传输、加密和数据存储的场景中编码/解码信号中。它还涉及编码和解码信息，以及在各种场景中使用编码信息的系统和技术。编码信息可以表示神经网络(例如，循环神经网络)中的活动。

人工神经网络是受生物神经元网络的结构和功能方面启发的设备。特别地，人工神经网络使用被称为节点的互连构造的系统来模拟生物神经元网络的信息编码和其他处理能力。人工神经网络中的节点之间的连接的布置和强度决定了通过人工神经网络的信息处理或信息存储的结果。

可以训练神经网络以在网络中产生期望的信号流并且实现期望的信息处理或信息存储结果。通常，训练神经网络将在学习阶段期间改变节点之间的连接的布置和/或强度。当神经网络对于给定的输入集实现足够适当的处理结果时，可以认为该神经网络是训练过的。

人工神经网络可以被用在各种各样的不同的设备中以执行非线性数据处理和分析。非线性数据处理不满足叠加原理(superposition principle)，即，待被确定的变量不能够被写为独立分量的线性总和。非线性数据处理是有用的的场景的示例包括模式和序列识别(pattern and sequence recognition)、语音处理、新颖性检测和序贯决策、复杂系统建模以及各种各样的其他场景中的系统和技术。

编码和解码都将信息从一种形式或表示转换为另一种形式或表示。不同的表示可以提供在不同的应用中或多或少有用的不同的特征。例如，信息的一些形式或表示(例如，自然语言)可以更易于人类理解。其他形式或表示可以大小更小(例如，“被压缩的”)并且更容易传输或存储。还有其他形式或表示可以有意地模糊信息内容(例如，信息可以被加密编码)。

不管特定的应用，编码或解码过程通常将遵循建立不同的形式或表示的信息之间的对应关系的预定义的规则集或算法。例如，产生二进制代码的编码过程可以根据单独的位在二进制序列或向量中的位置而为其分配角色或意义。

发明内容

此文档涉及编码和解码信息，以及在各种场景中使用编码信息的系统和技术。例如，在一个实现中，一种设备包括神经网络，所述神经网络被训练以响应于第一输入而产生在源神经网络中响应于所述第一输入而出现的活动的模式中的拓扑结构的第一表示的近似，响应于第二输入而产生在所述源神经网络中响应于所述第二输入而出现的活动的模式中的拓扑结构的第二表示的近似，以及响应于第三输入而产生在所述源神经网络中响应于所述第三输入而出现的活动的模式中的拓扑结构的第三表示的近似。