[发明专利]一种实现指代消解的方法及装置

说明书

本文公开了一种实现指代消解的方法及装置。所述方法包括：向语言模型输入句子样本，对语言模型进行无监督预训练：随机掩盖句子样本的一部分原文，训练语言模型通过上下文的信息预测被掩盖的原文部分；所述语言模型是基于神经网络的NLP模型；对经过无监督预训练的语言模型进行针对指代消解任务的有监督训练：向语言模型输入句子样本以及照应语的信息，训练语言模型预测照应语在句子中指代的先行语，为语言模型的输出添加指示先行语信息的输出标签；向经过有监督训练的语言模型输入句子和照应语的信息，利用语言模型预测所述照应语在句子中指代的先行语。本文的技术方案能通过神经网络机器学习代替大量的语言学特征设计以实现指代消解。

技术领域

本发明涉及计算机技术领域，尤其涉及的是一种实现指代消解的方法及装置。

背景技术

指代是自然语言中常见的语言现象，它对于简化表述，衔接上下文起着重要的作用。例如：小明的妈妈是一名工程师，她也很喜欢料理。句中代词“她”所指代的是“小明的妈妈”。在自然语言理解任务中，只有计算机清楚地了解这种指代的语言结构才能更好地理解语言所表达的具体信息。

在语言学中，指代词称为照应语，所指的对象或内容称为先行语。先行语可以在照应语前面，也可以在照应语后面。指代消解，就是确定照应语与先行语之间的相互关系，从而明确照应语指代的是什么对象。

相关技术中，指代消解通常采用基于句法分析的指代消解，这种方法利用句法层面知识，以启发式方法解决指代消解，比如RAP(Resolution of Anaphora Procedure，过程消解)等。但是这种方法需要人工构建大量的语言学特征，模型的好坏很大程度上取决于对语言学特征的设计，如果对语言学的了解不够，则会影响模型的预测效果。

发明内容

本文提供一种实现指代消解的方法及装置，能够通过神经网络机器学习代替大量的语言学特征设计以实现指代消解。

根据本申请的第一方面，本发明实施例提供一种实现指代消解的方法，包括：

向语言模型输入句子样本，对所述语言模型进行无监督预训练：随机掩盖所述句子样本的一部分原文，训练所述语言模型通过上下文的信息预测被掩盖的原文部分；其中，所述语言模型是基于神经网络的自然语言处理NLP模型；

对所述经过无监督预训练的语言模型进行针对指代消解任务的有监督训练：向所述语言模型输入句子样本以及所述句子样本中照应语的信息，训练所述语言模型预测照应语在句子中指代的先行语，为所述语言模型的输出添加指示先行语信息的输出标签；

向所述经过有监督训练的语言模型输入句子和照应语的信息，利用所述语言模型预测所述照应语在句子中指代的先行语。

根据本申请的第二方面，本发明实施例提供一种实现指代消解的装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的实现指代消解的程序，所述实现指代消解的程序被所述处理器执行时实现上述实现指代消解的方法的步骤。

根据本申请的第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现指代消解的程序，所述实现指代消解的程序被处理器执行时实现上述实现指代消解的方法的步骤。