[发明专利]通过多个语言任务层级处理数据的深度神经网络模型

说明书

所公开的技术提供了所谓的“联合多任务神经网络模型”，以在单个端到端模型中使用不断增长的层深度来解决各种日益复杂的自然语言处理(NLP)任务。通过考虑语言层级，将词表示直接连接到所有模型层，明确地使用较低任务中的预测，并应用所谓的“连续正则化”技术来防止灾难性遗忘，来连续训练该模型。较低级模型层的三个示例是词性(POS)标注层、语块划分层和依赖性解析层。较高级模型层的两个示例是语义相关性层和文本蕴涵层。该模型实现了关于语块划分、依赖性解析、语义相关性和文本蕴涵的最先进的结果。

其他申请的交叉引用

本申请要求于2016年11月3日提交的、申请号为62/417,269的美国临时专利申请“联合多任务模型(JOINT MANY-TASK MODEL)”(代理人案卷号为SALE 1182-1/1948PROV1)的权益。该优先权临时申请出于所有目的通过参考合并于此。该临时申请包括一份提供发明人工作的其他细节的技术论文；

本申请要求于2016年11月4日提交的、申请号为62/418,070的美国临时专利申请“联合多任务模型(JOINT MANY-TASK MODEL)”(代理人案卷号为SALE 1182-2/1948PROV2)的权益。该优先权临时申请出于所有目的通过参考合并于此。该临时申请包括一份提供发明人工作的其他细节的技术论文；

本申请要求于2017年1月31日提交的、申请号为15/421,424的美国非临时专利申请“通过多个语言任务层级处理数据的深度神经网络模型(DEEP NEURAL NETWORK MODELFOR PROCESSING DATA THROUGH MUTLIPLE LINGUISTIC TASK HIERARCHIES)”(代理人案卷号SALE 1182-4/1948US2)的权益。该优先权非临时申请出于所有目的通过参考合并于此；

本申请要求于2017年1月31日提交的、申请号为15/421,407的美国非临时专利申请“用于多个自然语言处理(NLP)任务的联合多任务神经网络模型(JOINT MANY-TASKNEURAL NETWORK MODEL FOR MULTIPLE NATURAL LANGUAGE PROCESSING(NLP)TASKS)”(代理人案卷号SALE 1182-3/1948US1)的权益。该优先权非临时申请出于所有目的通过参考合并于此；以及

本申请要求于2017年1月31日提交的、申请号为15/421,431的美国非临时专利申请“使用连续正则化训练联合多任务神经网络模型(TRAINING A JOINT MANY-TASK NEURALNETWORK MODEL USING SUCCESSIVE REGULARIZATION)”(代理人案卷号SALE

1182-5/1948US3)的权益。该优先权非临时申请出于所有目的通过参考合并于此。

技术公开的技术领域

所公开的技术总地涉及使用深度神经网络进行自然语言处理(NLP)的架构，尤其涉及使用端到端可训练的联合多任务神经网络模型的多任务学习。该体系架构可扩展到其他多层分析框架和任务。

背景技术

不应仅仅因为在本节中提及本节中讨论的主题而将其假定为是现有技术。类似地，本节中提到的问题或与背景技术中提供的主题相关联的问题不应被假定为现有技术中之前已经认识到。本节中的主题仅表示不同的方法，这些方法本身也可以对应于所要求保护的技术的实现。