[发明专利]训练神经网络模型

说明书

一种用于训练神经网络模型的构思。该构思包括接收训练数据和测试数据，所述训练数据和测试数据均包括一组注释图像。神经网络模型使用所述训练数据以初始正则化参数来训练。针对所述训练数据和所述测试数据两者的所述神经网络的损失函数用来修改正则化参数，并且所述神经网络模型使用经修改的正则化参数来再训练。该过程被迭代地重复直至所述损失函数两者都收敛。公开了采用该构思的系统、方法和计算机程序产品。

技术领域

本发明涉及训练神经网络模型，并且具体地涉及使用正则化技术来训练神经网络模型。

背景技术

人工神经网络(在本文中被称为“神经网络”)对于其在建模分析问题(诸如图像分析问题)中的使用是已知的。深度学习架构或深度神经网络是能够对更复杂的分析问题建模的一种具体类型的神经网络。

神经网络架构包括被布置在层中的多个单元，被称为人工神经元或简称为神经元，其被配置为模拟大脑的神经元。神经网络模型中的每个层可以对其输入执行不同的变换。神经网络中的神经元通过一个或多个连接或边缘被连接到一个或多个其他神经元。每个神经元或边缘可以具有相关联的权重(其可以被称为偏置)，其被应用于来自神经元的输出或被应用于从一个神经元到所连接的神经元的连接。权重能够利用神经网络的训练(例如使用训练数据)来更新。信号(例如数据)从神经网络的第一输入层行进到网络的最后输出层，并且可以穿过一个或多个中间“隐藏”层。利用训练，权重被更新使得神经网络的输出变得更接近预期的输出。

神经网络模型(并且具体地深度学习神经网络)中涉及的复杂性和大量参数增加了“过拟合”将会发生的可能性。当复杂模型对用来训练模型的数据中的较小波动反应过度时，过拟合发生。过拟合已经发生的模型的输出可能几乎没用或没用，并且可能导致需要再训练模型。

因此，需要降低过拟合发生的可能性的训练神经网络模型的改进的方式。

发明内容

根据第一方面，提出一种被配置用于训练神经网络模型的系统，包括：存储器，其包括表示指令集的指令数据；以及处理器，其被配置为与所述存储器通信并且执行所述指令集。当由所述处理器执行时，所述指令集令所述处理器接收包括第一组注释图像的训练数据；接收包括第二组注释图像的测试数据；使用所述训练数据基于初始正则化参数来训练所述神经网络模型；迭代地执行以下步骤：使用所述测试数据来测试经训练的神经网络模型，以确定经训练的神经网络模型的针对所述测试数据的损失函数；基于所述神经网络模型的针对所述训练数据的损失函数和所述神经网络模型的损失函数来调整所述初始正则化参数；使用所述训练数据基于经调整的正则化参数来再训练所述神经网络模型，其中，所述迭代的步骤被执行直至确定针对所述训练数据的所述损失函数和针对所述测试数据的所述损失函数都已经收敛到稳定状态。

通过基于针对训练数据和所述测试数据的所述损失函数调整所述正则化参数，能够关于经训练的神经网络是否正在遭受过拟合进行评价，由此使得对正则化参数的定向调整能够被进行。这由此使得更准确的神经网络能够被生成，并且神经网络的损失函数能够更有效地降低。

对正则化参数的调整被迭代地重复，针对测试数据和训练数据两者的损失函数已经收敛(例如已经被最小化)。这种收敛指示不再需要进一步训练，即神经网络基于可用的数据已经被优化。

训练数据和测试数据是不同的且彼此分开的，但是可以由更大注释图像数据集的不同部分形成。

在一些实施例中，所述正则化参数可以包括与所述神经网络模型中的神经元相关的dropout参数或与所述神经网络模型中的神经元之间的连接相关的dropconnect参数中的至少一项。

对正则化参数的调整可以基于损失函数在迭代之间的变化。在一些实施例中，正则化参数调整可以是基于损失函数在迭代之间的收敛。