[发明专利]使用后验锐化训练神经网络

说明书

方法、系统和装置，包括在计算机存储介质上编码的计算机程序，用于训练神经网络。在一个方面，一种方法包括维持对于每个网络参数指定分布参数的相应集合的当前值的数据，所述分布参数集合定义了网络参数的可能值上的后验分布。从网络参数的相应临时梯度值确定每个网络参数的相应当前训练值。根据网络参数的相应当前训练值，更新网络参数的分布参数的相应集合的当前值。基于分布参数的相应集合的更新的当前值，确定网络参数的训练的值。

技术领域

本说明书涉及训练神经网络。

背景技术

神经网络是机器学习模型，它使用一层或多层非线性单元来预测接收的输入的输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层(即下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集合的当前值从接收的输入生成输出。

一些神经网络是循环神经网络。循环神经网络是接收输入序列并从输入序列生成输出序列的神经网络。具体地，循环神经网络可以使用来自先前时间步的网络的一些或全部内部状态来计算当前时间步的输出。循环神经网络的示例是包括一个或多个LSTM存储器块的长短期(LSTM)神经网络。每个LSTM存储器块可以包括一个或多个单元，每个单元包括输入门、忘记门和输出门，其允许单元存储单元的先前状态，例如，用于生成当前激活或被提供到LSTM神经网络的其他组件。

发明内容

本说明书描述了在一个或多个位置中的一个或多个计算机上实现为计算机程序的系统，其执行神经网络训练。

根据第一方面，提供了一种训练具有多个网络参数的神经网络以确定网络参数的训练的值的方法。神经网络被配置为接收网络输入，并根据网络参数处理所述网络输入以生成网络输出。针对每个网络参数，维持指定定义所述网络参数的可能值上的后验分布的分布参数的相应集合的当前值的数据。从每个网络参数的分布参数的相应集合的当前值，确定所述网络参数的相应临时参数值。获得包括多个训练网络输入的小批量，并且针对每个训练网络输入，获得相应的训练网络输出。通过相对于所述相应临时参数值确定所述小批量的目标函数的梯度，确定每个网络参数的相应临时梯度值。从每个网络参数的相应临时梯度值，确定所述网络参数的相应当前训练值。根据网络参数的相应当前训练值，更新所述网络参数的分布参数的相应集合的当前值。基于所述分布参数的相应集合的更新的当前值，确定所述网络参数的训练的值。

在一些实现方式中，更新所述网络参数的分布参数的相应集合的当前值包括：相对于包括从所述目标函数导出的第一项的增强目标函数的每个分布参数，确定相应训练梯度值。使用所述相应训练梯度值，更新所述网络参数的分布参数的相应集合的当前值。

在一些实现方式中，所述增强目标函数包括从后验分布下和先验分布下的当前训练值之间的差异导出的第二项。

在一些实现方式中，所述增强目标函数包括从后验分布下和先验分布下的临时参数值之间的差异导出的第三项。

在一些实现方式中，所述神经网络是前馈神经网络。

在一些实现方式中，确定所述相应临时梯度值包括：利用所述小批量上的反向传播训练过程执行随机梯度下降的迭代，其中所述网络参数的值被设置为所述临时参数值，并且其中确定所述相应训练梯度值包括：利用反向传播训练过程执行随机梯度下降的迭代，其中网络参数的值被设置为所述当前训练值。

在一些实现方式中，所述神经网络是循环神经网络，并且其中每个网络输入是包括在多个时间步中的每一个时间步处的相应时间步输入的序列。

在一些实现方式中，确定所述相应临时梯度值包括：执行通过时间反向传播训练过程的迭代，其中所述网络参数的值被设置为所述临时参数值，并且其中确定所述相应训练梯度值包括：执行通过时间反向传播训练过程的迭代，其中所述网络参数的值被设置为所述当前训练值。