[发明专利]通过多个语言任务层级处理数据的深度神经网络模型

权利要求书

1.一种用于处理输入语句中的词的神经网络系统的依赖性解析层组件；所述依赖性解析层叠加在产生语块标签嵌入和语块状态向量的语块标签嵌入层上；所述语块标签嵌入层又叠加在产生词性(POS)标签嵌入的POS标签嵌入层上；所述依赖解析层组件包括：

依赖性父层和依赖性关系标签分类器；

所述依赖性父层包括双向长短期记忆(LSTM)和一个或更多个分类器，具有嵌入处理模块、质量向量产生模块和父标签向量产生模块，所述嵌入处理模块用于处理词嵌入、POS标签嵌入、语块标签嵌入和语块状态向量，所述质量向量产生模块用于从所述双向LSTM产生的父标签状态向量产生父标签概率质量向量，所述父标签向量产生模块用于从所述父标签概率质量向量产生父标签嵌入向量；以及

所述依赖性关系标签分类器包括归一化模块和依赖性标签向量产生模块，所述归一化模块用于对所述父标签状态向量和所述父标签嵌入向量进行缩放归一化，所述依赖性标签向量产生模块用于从所述父标签概率质量向量产生依赖性关系标签嵌入向量；以及

输出处理器，至少输出所述依赖性关系标签嵌入向量或基于其的依赖性关系标签。

2.如权利要求1所述的依赖性解析层组件：

所述双向LSTM用于进一步为所述输入语句中的每个相应词产生前向后向父标签状态向量，所述前向和后向父标签状态向量表示所述输入语句中词之间相互作用的前向和后向进展；以及

进一步包括注意力编码器模块和父标签向量模块，所述注意力编码器模块处理所述输入语句中每个相应词的前向和后向状态向量，所述父标签向量模块用于从经编码的注意力向量产生所述父标签嵌入向量。

3.如权利要求2所述的依赖性解析层组件，其中通过其确定所述父标签概率质量向量的可用分析框架标签的数目小于前向和后向状态的维度，从而形成维度瓶颈，在训练双向LSTM的神经网络堆叠时，所述维度瓶颈减少过度拟合。

4.一种用于处理输入语句中的词的神经网络系统的依赖性解析层组件；所述依赖性解析层叠加在产生语块标签嵌入和语块状态向量的语块标签嵌入层上；所述语块标签嵌入层又叠加在产生词性(POS)标签嵌入和POS状态向量的POS标签嵌入层上；所述依赖性解析层组件包括：

依赖性父层和依赖性关系标签分类器；

所述依赖性父层包括依赖性父项分析器和注意力编码器：

所述依赖性父项分析器包括处理所述输入语句中的所述词的双向长短期记忆(LSTM)模块，具有嵌入处理器和状态向量产生模块，所述嵌入处理器用于针对每个词处理词嵌入、POS标签嵌入、语块标签嵌入和语块状态向量，所述状态向量产生模块用于产生表示所述输入语句中的所述词之间的相互作用的前向和后向进展的前向和后向状态向量；以及注意力编码器，用于处理所述输入语句中每个相应词的所述前向和后向状态向量，以及用于对潜在依赖性的注意力进行编码；

所述注意力编码器包括归一化模块，用于应用缩放归一化以产生父标签概率质量向量，并将所述父标签概率质量向量投影到父标注模块，以产生父标签嵌入向量；以及

所述依赖性关系标签分类器，针对所述输入语句中的每个相应词，应用依赖性关系标签向量产生模块，以从嵌入向量和所述父标签嵌入向量产生依赖性关系标签概率质量向量，以及应用依赖性标签向量产生模块，以从所述依赖性关系标签概率质量向量产生依赖性关系标签嵌入向量；以及

输出处理器，至少输出反映每个词的依赖性关系的分类标签、所述依赖性关系标签概率质量向量或所述依赖性关系标签嵌入向量的结果。

5.如权利要求4所述的依赖性解析层组件，其中通过其确定依赖性关系标签概率质量向量的可用分析框架标签的数目小于前向和后向状态的维度，从而形成维度瓶颈，在训练双向LSTM的神经网络堆叠时，所述维度瓶颈减少过度拟合。