[发明专利]具有空间分布功能性的神经网络的信息处理系统

说明书

本发明涉及具有功能上由通过突触互连的神经原组成的神经网络的信息处理系统。该网络具有接收若干输入信号的输入装置，提供至少一个输出信号的输出装置和在输入装置和输出装置之间的结构，以实现若干输入信号的神经变换从而产生输出信号。

十余年来，作为信号处理器的神经网络获得不断增长的关注，它的主要特性在于使用空间分布元件将输入信号非线性变换为输出信号和在密集互连结构中大量地并行信息处理。这种处理器是健壮的和容错的处理器件。而且，神经网络可以通过依据于实例的训练加以编程，而不是通过例如常规微处理器领域中的规定算法指令加以编程，训练可以在或不在管理程序下而达到，后面的形式称为“自学习”。预计神经网络将发挥重要作用，尤其在相联存储器、分类器、模式识别和优化问题的领域中。关于一般介绍，请阅IEEE ASSP杂志1987年4月期第4-22页的R.P.Lippmann所写的“具有神经网络的计算的介绍”一文。

尽管为神经网络控制或神经网络模拟所建立的一些数学算法似乎在寻求对特殊问题的软件解答中是有用的，据认为神经网络方法的真正益处只有通过专用硬件才可获得。近十余年来各种各样的神经网络的电子和光学硬件实施已问世。例如，菲利浦的电子实验室已开发第一块商用的电子全数字化操作的可训练的神经芯片，用于模块化的神经网络体系结构，请阅美国专利4994982。模拟神经网络的电子实施已从例如美国专利486645中所知。光学神经网络也在《科学美国人》256期1987年3月的第66-73页的Y.S.Abu-Mostafa和D.PSaltis的“光学神经计算机”一文中论及。

往往为了在有限的空间容纳充分大数量的神经原和突触需要空间紧凑的设计。可训练神经网络需要附加电路，以在网络学习阶段中分别地和精确地调整权重，这必然导致系统尺寸和复杂性的增加。因为神经网络的处理能力随着神经原和互连的数量越大而增加，今天神经网络技术中致力寻找的主要目标为增加神经原和互连的密度。例如，在电子实施例设计中遇到的主要问题是可以在一块芯片上实施的神经原或神经原功能度的数量的限制。一般地说，运用现有技术状态可以在芯片上集成的神经原或神经原功能度的最大数量远小于一千。而且，为了实现包含这样大数量神经原的网络的学习能力所需要的附加元件的复杂性和数量预计至少还要按比例地增大。

上述例子的共同之处在于相连的体系结构基本上具有集总的特性。即，例如神经原和突触的执行基本计算的神经网络的各种各自的功能元件是通过实际上特殊的器件或电路实现的。这些器件和电路专用于例如加权相乘，求和和施以S形函数。

了为简化互连模式和提高效率，减少神经原或神经原层的数量的方法之一是使用加在神经网络的输入信号的高阶项(平方、乘积、立方等)。那末这些高阶项被用作神经原所处理的信号。例如，请参阅应用光学1987年26卷第4972-4978页的C.Lee Giles等人的”高阶神经网络的学习，不变性和通用性”一文。高阶相关性被预先确定，可以被看为预处理的输入数据，预处理依据于对所要解决的神经网络的这类问题的一些现有知识。例如，运用神经网络处理的各种分类问题需要输入信号之间不同形式的非线性相关性。

从上述的限制看来，本发明的目的是提供包含全新的神经网络体系结构的信息处理系统，它容许更大数量的神经原功能度的集成和具有更高的技术独立性。

为此，本发明提供一种具有功能上由突触互连的神经原组成的神经网络的信息处理系统，该网络具有接收若干输入信号的输入装置；提供至少一个输出信号的输出装置；和在输入装置和输出装置之间的结构，以实现若干输入信号的神经变换从而产生输出信号；其特征在于：该结构包含媒质，用于对若干输入信号作出响应通过媒质传播响应场，响应场非线性地依赖于至少其中一个输入信号，和媒质具有至少一个不均匀性，运行于影响响应场的空间分布，媒质用于至少将表示在媒质的第一位置处发生的响应场的第一响应耦合至输出装置，以产生输出信号。

本发明根据这样的认识：媒质基态的能级取决于所施加的边界条件。在各自不同的边界条件下激发媒质将导致媒质稳定于各自不同最低态。这样边界条件用作输入信号和关联的最低能量结构用作输出信号，输出信号对输入信号的非线性关系由所施加的特定边界条件所决定。

以这种方式，使用空间不均匀媒质的完全和基本上连续分布和集合的物理特性可以获得为神经网络运行所需要的变换。媒质可以是无一定方向的或定形的材料，可以包括固态、液体、气态、等离子态等。有关的特性是与例如电场、磁场、电动场或声场相联系的，或者与包含例如从电场变换为声场等的现象相联系的。