[发明专利]使用连续正则化训练联合多任务神经网络模型

权利要求书

1.一种在硬件上运行的堆叠的LSTM序列处理器的训练方法，所述堆叠的LSTM序列处理器根据分析层级堆叠成至少三层，所述训练方法包括：

使用针对每层的训练示例通过后向传播训练第一层、第二层和第三层，同时在训练期间具有至下层的正则化的向下传递，包括：

使用第一层训练示例训练所述第一层；

使用第二层训练示例训练所述第二层，同时具有至所述第一层的正则化的向下传递训练；以及

使用第三层训练示例训练所述第三层，同时具有至所述第一层和所述第二层的正则化的向下传递训练；以及

通过约束训练目标函数使正则化的向下传递训练正则化，所述训练目标函数具有适应度函数，所述适应度函数具有至少两个正则化项；以及

所述两个正则化项通过惩罚应用于所述下层的系数矩阵的权重大小的增长来正则化，并且对应用于所述下层的系数矩阵中权重的所有变化进行连续地正则化。

2.如权利要求1所述的训练方法，其中所述适应度函数是基于负对数似然的交叉熵。

3.如权利要求1-2中任一项所述的训练方法，其中所述适应度函数是Kullback-Leibler散度(KL-散度)。

4.如权利要求1-3中任一项所述的训练方法，其中所述适应度函数是均方误差。

5.如权利要求1-4中任一项所述的训练方法，进一步包括根据所述堆叠的LSTM中的所述分析层级训练至少五层。

6.如权利要求1-5中任一项所述的训练方法，进一步包括根据所述堆叠的LSTM中的所述分析层级训练至少十层。

7.如权利要求1-6中任一项所述的训练方法，进一步所述堆叠的LSTM下方的基底层，与所述堆叠的LSTM分开训练，并产生所述堆叠的LSTM的最低层使用的输入。

8.如权利要求1-7中任一项所述的训练方法，进一步所述堆叠的LSTM上方的阁楼层，与所述堆叠的LSTM分开训练，并消耗所述堆叠的LSTM的最上层的输出。

9.一种用于将中间结果从双向LSTM的神经网络堆叠中的下层传送到叠加层的方法，其中堆叠具有对应于处理词条序列的分析框架的层，并且所述下层为每个词条产生分析框架标签向量，所述方法包括：

针对所述序列，使用所述下层分析所述词条，包括：

应用所述双向LSTM来计算每个词条的前向状态向量和后向状态向量；

将分类器应用于所述前向状态向量和所述后向状态向量，以将每个词条嵌入到分析框架标签空间中作为标签空间向量，其维度与可用分析框架标签的数目大致相同；以及

将每个词条的标签空间向量投影到扩展的维度标签空间中以产生扩展的词条标签向量，所述扩展的维度标签空间的维度与前向状态和后向状态的维度大致相同；以及

从所述下层向所述叠加层传送所述前向状态、所述后向状态和所述扩展的词条标签的向量，从而提供所述叠加层所需的输入，以在用于处理词条的所述分析框架中执行其角色。

10.如权利要求9所述的方法，进一步包括除了状态向量之外，将由所述下层接收的作为输入的向量通过旁路传送到所述叠加层。

11.如权利要求9-10中任一项所述的方法，其中所述下层在两个更深的层之上，还包括将由所述两个更深的层接收的作为输入的向量和由所述两个更深的层产生的作为输出的嵌入的标签向量通过旁路传送到所述叠加层。

12.如权利要求9-11中任一项所述的方法，其中可用分析框架标签的数量小于所述前向状态和所述后向状态的维度，从而形成维度瓶颈，当训练双向LSTM的所述神经网络堆叠时，所述维度瓶颈减少过度拟合。