[发明专利]一种半监督的中英文隐式篇章关系识别方法与系统

权利要求书

1.一种半监督的中英文隐式篇章关系识别方法，其特征在于，所述方法包括如下步骤：

步骤一、数据集准备：

给定人工标注的中文篇章关系数据集和英文篇章关系数据集以及未标注的中文篇章关系数据集和英文篇章关系数据集，基于中英互译机器翻译系统进行翻译以分别得到的译文数据集，的译文数据集，的译文数据集以及的译文数据集；

步骤二、模型构建：

在基于注意力机制的隐式篇章关系识别模型的基础上，分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型；

步骤三、无监督的模型训练：

基于未标注的中文篇章关系数据集、未标注的英文篇章关系数据集、的译文数据集以及的译文数据集，随机初始化中文隐式篇章关系识别模型的参数以及英文隐式篇章关系识别模型的参数，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行无监督训练直至达到最大训练轮数以得到无监督训练后参数以及参数的值；

其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，分别在未标注的中文篇章关系数据集以及未标注的英文篇章关系数据集上最小化对应的基于知识迁移的代价函数，以实现中文隐式篇章关系识别模型与英文隐式篇章关系识别模型之间的知识迁移；

步骤四、有监督的模型训练：

基于人工标注的中文篇章关系数据集、人工标注的英文篇章关系数据集、的译文数据集以及的译文数据集，以无监督训练后得到的参数以及参数的值作为初始值，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行有监督训练，直至收敛以分别得到训练好的中文隐式篇章关系识别模型以及训练好的英文隐式篇章关系识别模型；

其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，并结合各自定义的交叉熵分类代价函数，以分别得到中文隐式篇章关系识别模型与英文隐式篇章关系识别模型各自对应的总代价函数，分别在标注的中文篇章关系数据集以及标注的英文篇章关系数据集上最小化对应的所述总代价函数以进行模型训练；

步骤五、预测结果输出：

基于所述训练好的中文隐式篇章关系识别模型计算得到中文隐式篇章关系预测结果，基于所述训练好的英文隐式篇章关系识别模型计算得到英文隐式篇章关系预测结果。

2.根据权利要求1所述的半监督的中英文隐式篇章关系识别方法，其特征在于，所述基于注意力机制的隐式篇章关系识别模型包括编码层、基于注意力机制的特征层以及分类层；

其中，所述编码层用于学习论元中的词在上下文中的表示，具体表示为：

其中，分别为论元1中第个词的词向量及其在上下文中的表示，分别为论元2中第个词的词向量及其在上下文中的表示，与分别是论元1与论元2中词的个数，BiLSTM₁和BiLSTM₂均为双向长短时记忆网络。

3.根据权利要求2所述的半监督的中英文隐式篇章关系识别方法，其特征在于，所述基于注意力机制的特征层用于建模论元1与论元2之间的交互，具体表示为：

其中，和分别为基于最大池化操作得到的论元1与论元2的语义表示；表示最大池化操作，为基于论元2的语义表示计算的论元1中的词的权重，为基于论元1的语义表示计算的论元2中的词的权重，为向量的转置，为归一化操作；和分别为语义交互后得到的论元1和论元2的语义表示，为拼接和得到特征层的输出；

所述分类层用于输出模型预测的结果，具体表示为：

其中，是隐式篇章关系预测结果，表示多层感知机，由多个全连接的非线性神经网络层和一个层组成。

4.根据权利要求1所述的半监督的中英文隐式篇章关系识别方法，其特征在于，对所述中文隐式篇章关系识别模型进行无监督训练的步骤中，对应的基于知识迁移的代价函数表示为：

其中，为中文隐式篇章关系识别模型进行无监督训练对应的基于知识迁移的代价函数，为中文隐式篇章关系识别模型的参数，为未标注的中文隐式篇章关系实例的元篇章关系预测结果，为的英文译文实例的元篇章关系预测结果，表示两个概率分布之间的KL距离，，。