[发明专利]在训练神经网络中作为正则化器的冻结

说明书

本发明题为在训练神经网络中作为正则化器的冻结。本发明提出了促进在训练神经网络中作为正则化器的冻结的系统和技术。系统可包括存储器和执行计算机可执行组件的处理器。该计算机可执行组件可包括：评估组件，该评估组件识别神经网络的单元；选择组件，该选择组件选择神经网络的单元的子集；和冻结组件，该冻结组件冻结神经网络的单元的选定子集，使得针对训练运行将不更新来自单元的冻结子集的输出连接的权重。

技术领域

本公开整体涉及神经网络，并且更具体地讲，涉及用于训练神经网络 的计算机实现的技术。

背景技术

当训练神经网络时，过度拟合是常见问题。当神经网络模型太好地学 习训练数据时，在训练过程期间发生过度拟合，从而在向模型呈现新的未 见数据时导致较低的性能。可通过将验证度量诸如准确度应用于新的未见 数据(测试数据)和训练数据来检测过度拟合。当发生过度拟合时，针对 测试数据的验证度量在特定数量的时期之后停止改善并且此后开始减少。 同时，因为模型试图找到训练数据的最佳拟合，所以针对训练数据的验证 度量将继续改善。与训练数据相关联的误差被驱动到非常小的值，但是在 向神经网络呈现新数据时，误差很大。网络已了解训练示例，但其尚未了 解推广至新情况或数据集。

正则化是指通过对学习算法进行轻微修改来解决过度拟合问题，从而 使得神经网络模型能够更准确地推广至新情况或数据集的技术。这继而也 改善模型对新数据的性能。

丢弃是指在训练运行(例如，一个或多个训练迭代)期间从神经网络 层随机移除特定百分比的隐藏单元(连同它们的连接)的正则化技术。这 防止了隐藏单元太多地依赖其他隐藏单元。然而，通过丢弃隐藏单元连同 它们的连接，神经网络的架构对于适用的训练运行发生改变。因此，有必 要在每次训练运行期间更新从丢弃单元到下一层或多层的单元的输出连接 的权重。

发明内容

以下内容提出了本说明书的简化发明内容以便提供对本说明书的某些 方面的基本理解。该发明内容不是对本说明书的详尽概述。它既不旨在标 识本说明书的关键或重要元素，也不旨在描述本说明书的特定具体实施的 任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现本说明书 的一些概念，作为稍后呈现的更详细描述的序言。

根据一个实施方案，一种系统包括评估组件、选择组件和冻结组件。 该评估组件识别神经网络的单元。该选择组件选择神经网络的单元的子 集。该冻结组件冻结神经网络的单元的选定子集，使得针对训练运行将不 更新来自单元的冻结子集的输出连接的权重。

根据另一个实施方案，提供了一种方法。该方法包括由可操作地耦接 到处理器的设备识别神经网络的单元。该方法还包括由设备选择神经网络 的单元的子集。此外，该方法包括由设备冻结神经网络的单元的选定子 集，使得针对训练运行将不更新来自单元的冻结子集的输出连接的权重。

根据又一个实施方案，提供了一种计算机可读存储设备。该计算机可 读存储设备包括指令，指令响应于执行而致使包括处理器的系统执行操 作，操作包括识别神经网络的单元。该处理器还执行操作，包括选择神经 网络的单元的子集。该处理器还执行操作，包括冻结神经网络的单元的选 定子集，使得针对训练运行将不更新来自单元的冻结子集的输出连接的权 重。

以下具体实施方式和附图阐述了本说明书的某些例示性方面。然而， 这些方面仅指示了可以采用本说明书原理的各种方式中的一些方式。当结 合附图考虑时，根据以下对说明书的详细描述，本说明书的其他优点和新 颖特征将变得显而易见。

附图说明

图1示出了根据本文所述的一个或多个实施方案的示例性、非限制性 系统的框图，该系统促进在训练神经网络中作为正则化器的冻结。

图2A至图2D分别示出了根据本文所述的一个或多个实施方案的非限 制性系统的示例，该系统促进在训练神经网络中作为正则化器的冻结。