[发明专利]神经网络结构及其方法

说明书

本发明涉及使得能够有效地训练网络的神经网络结构及其方法。该结构是梯形结构，其中一个或多个横向输入被送到解码函数。通过最小化属于该结构的一个或多个成本函数，可以以有效的方式来训练神经网络结构。

技术领域

本发明一般涉及神经网络的技术领域。特别地，本发明涉及一种改进网络训练的神经网络结构。

背景技术

机器学习方法广泛用于现代技术，例如，机器视觉，模式识别，机器人技术，控制系统和自动化。在这样的应用中，机器学习被用在用于处理输入数据的系统或设备的由计算机实现的部分中。

机器学习方法的一个分类是分为“监督式”学习和“非监督式”学习。监督式学习旨在找到或“学习”一种根据给定输入产生给定输出的方式，例如，将输入图像集合正确分类为图像已经被标记为属于的类别。非监督式学习旨在通常通过特征来表示输入数据中的结构。所得的特征可以用作分类任务的输入，或用作进一步的监督式学习的初始化。

在机器学习领域中存在广泛的现有技术公开了解决方案。例如，Vincent等人在2008年的第25届国际机器学习会议(ICML'2008)的论文集中的“Extracting andComposing Robust Features with Denoising Autoencoders”引入了一种其中去噪自动编码器被布置成以通过噪声破坏整个系统的输入的机器学习解决方案。学习将干净版本的输入与破坏后的自上向下激活相匹配。自下向上在最高层处被复制为自上向下。

反过来，Bengio于2014年的“How auto-encoders could provide creditassignment in deep networks via target propagation”公开了在网络的许多层次的多个成本函数，但不具有一致的成本函数，并且不会转播反向传播误差。自下向上仅在最高层处被复制为自上向下。

此外，在专利文献EP2126801中描述的机器学习系统表现出类似浮现注意力(emergent attention-like)过程，其选择信息并且指导学习。那里所描述的方法的一个关键方面是利用二次输入信息或“上下文”来指导自动学习过程。

然而，现有技术的解决方案仍然存在一些缺陷。也就是说，特别是鉴于在EP2126801中引入的解决方案的主要问题是上下文驱动相邻处理单元以表示相同信息。去相关在单一处理单元内部工作，并且阻止该问题在一个单元内部发生，但是因为去相关在计算上要求非常高，所以在大型网络中的所有单元之间进行是不切实际的。这个问题可以通过要求不同的处理单元接收不同的输入集合来减轻，但是在许多情况下这是个苛刻限制。

此外，用于深度神经网络中的非监督式学习的现有技术的解决方案是缓慢的，尤其在学习抽象特征方面具有挑战。而且，这种解决方案与监督式学习不能较好地兼容。

理想情况下，上下文连接应当携带来自其他来源的相关信息(除了自下向上信息之外)。研究这个问题的一个方式是它源于无法识别哪些信息来自其他来源以及哪些只是采用了网络中的不同路由的自下向上信息的副本。

因此，还需要开发机器学习解决方案，特别是引入神经网络结构，其减轻所提及的现有系统的缺点，并且改进神经网络的训练。

发明内容

本发明的目的是提出一种改进的可训练神经网络结构及其方法，其改进了神经网络的训练。

本发明的目的通过如由相应的独立权利要求限定的神经网络结构和方法来实现。