[发明专利]通过多个语言任务层级处理数据的深度神经网络模型

摘要

所公开的技术提供了所谓的“联合多任务神经网络模型”，以在单个端到端模型中使用不断增长的层深度来解决各种日益复杂的自然语言处理(NLP)任务。通过考虑语言层级，将词表示直接连接到所有模型层，明确地使用较低任务中的预测，并应用所谓的“连续正则化”技术来防止灾难性遗忘，来连续训练该模型。较低级模型层的三个示例是词性(POS)标注层、语块划分层和依赖性解析层。较高级模型层的两个示例是语义相关性层和文本蕴涵层。该模型实现了关于语块划分、依赖性解析、语义相关性和文本蕴涵的最先进的结果。

主权项

1.一种用于处理输入语句中的词的神经网络系统的依赖性解析层组件；所述依赖性解析层叠加在产生语块标签嵌入和语块状态向量的语块标签嵌入层上；所述语块标签嵌入层又叠加在产生POS标签嵌入的POS标签嵌入层上；所述依赖解析层组件包括：依赖性父层和依赖性关系标签分类器；所述依赖性父层包括双向LSTM和一个或更多个分类器，具有嵌入处理模块、质量向量产生模块和父标签向量产生模块，所述嵌入处理模块用于处理词嵌入、POS标签嵌入、语块标签嵌入和语块状态向量，所述质量向量产生模块用于从所述双向LSTM产生的父标签状态向量产生父标签概率质量向量，所述父标签向量产生模块用于从所述父标签概率质量向量产生父标签嵌入向量；以及所述依赖性关系标签分类器包括归一化模块和依赖性标签向量产生模块，所述归一化模块用于对所述父标签状态向量和所述父标签嵌入向量进行缩放归一化，所述依赖性标签向量产生模块用于从所述父关系标签概率质量向量产生依赖性关系标签嵌入向量；以及输出处理器，至少输出所述依赖性关系标签嵌入向量或基于其的依赖性关系标签。