[发明专利]一种半监督的中英文隐式篇章关系识别方法与系统

说明书

本发明提出一种半监督的中英文隐式篇章关系识别方法与系统，该方法包括如下步骤：步骤一、数据集准备；步骤二、模型构建：在基于注意力机制的隐式篇章关系识别模型的基础上，分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型；步骤三、无监督的模型训练；步骤四、有监督的模型训练；步骤五、预测结果输出。本发明提出的半监督的中英文隐式篇章关系识别方法，基于两种语言中大量未标注的篇章关系数据集和少量人工标注的篇章关系数据集联合训练中文和英文隐式篇章关系识别模型，可充分有效地利用两种语言中未标注的和标注的数据集，以同时提高中英文隐式篇章关系识别的性能。

技术领域

本发明涉及计算机语言处理技术领域，特别涉及一种半监督的中英文隐式篇章关系识别方法与系统。

背景技术

隐式篇章关系识别旨在自动推断缺少篇章连接词的两个论元(句子或子句)之间的语义关系，例如，转折和因果。在不同的语言中，通常都有少量人工标注的篇章关系数据集，例如，中文CDTB数据集和英文PDTB数据集。由于人工标注篇章关系数据集非常困难，导致不管是CDTB数据集还是PDTB数据集的规模都比较小。其中，CDTB数据集中标注的隐式篇章关系实例有5500个左右，而目前规模最大的PDTB数据集中也仅包含16000个左右的实例。这些人工标注的语料虽然数量不多，但质量非常高。因此，如何充分有效地利用不同语言中标注的篇章关系数据集是一个非常值得研究的问题，能有效地缓解训练数据短缺的问题，从而提升隐式篇章关系识别模型的性能。

中文和英文中都具有少量标注的篇章关系数据集，虽然他们各自定义的篇章关系类别有一定的差异，不存在一一对应关系，但两种不同语言的数据集显然是可以相互增强的。如图1所示，对于本发明提出的中文和英文隐式篇章关系实例示意图，其中，中文篇章实例中的“转折关系”和英文篇章实例中的“Contrast”关系是相互对应的。因此，隐式篇章关系识别模型应该具备从这些不同语言中具有相同语义关系的实例中学习知识的能力。

然而，现有技术中，缺少同时利用中英两种语言中大量未标注的篇章关系数据集和少量人工标注的篇章关系数据集进行隐式篇章关系识别的方法，在一定程度上限制了中英文隐式篇章关系的识别性能的提高。

发明内容

鉴于上述状况，有必要解决现有技术中，缺少同时利用中英两种语言中人工标注的篇章关系数据集进行隐式篇章关系识别的方法，在一定程度上限制了中英文隐式篇章关系的识别性能的提高的问题。

本发明实施例提出一种半监督的中英文隐式篇章关系识别方法，其中，所述方法包括如下步骤：

步骤一、数据集准备：

给定人工标注的中文篇章关系数据集和英文篇章关系数据集，以及未标注的中文篇章关系数据集和英文篇章关系数据集，基于中英互译机器翻译系统进行翻译以分别得到的译文数据集，的译文数据集，的译文数据集以及的译文数据集；

步骤二、模型构建：

在基于注意力机制的隐式篇章关系识别模型的基础上，分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型；

步骤三、无监督的模型训练：

基于未标注的中文篇章关系数据集、未标注的英文篇章关系数据集、的译文数据集以及的译文数据集，随机初始化中文隐式篇章关系识别模型的参数以及英文隐式篇章关系识别模型的参数，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行无监督训练直至达到最大训练轮数以得到无监督训练后参数以及参数的值；

其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，分别在未标注的中文篇章关系数据集以及未标注的英文篇章关系数据集上最小化对应的基于知识迁移的代价函数，以实现中文隐式篇章关系识别模型与英文隐式篇章关系识别模型之间的知识迁移；

步骤四、有监督的模型训练：