[发明专利]一种基于对抗学习的远监督关系抽取去噪方法

权利要求书

1.一种基于对抗学习的远监督关系抽取去噪方法，其特征在于，初始输入数据为含有噪声的远监督生成数据，所述远监督生成数据基于关系r划分为正确数据和错误数据其中，表示集合D^p中的第i项；表示集合Dⁿ中的第i项；

所述方法包括：

步骤10)建立预测器P和判别器D模型：

预测器P输出P(x)表示输入实例x包含关系r的概率；将D^p中的所有实例标注为1，将Dⁿ中的所有实例标注为0，组成预测器P的训练数据，对预测器P进行训练；

判别器D输出D(x)表示实例x来自于D^l的概率，用来度量D^l与加权后D^p间的可区分性，其中，D^l表示人工标注的数据；每个实例x都在经过预测器P后被分配了一个权重P(x)，权重P(x)即预测器P针对该实例的输出；将D^l中的所有实例标注为1，将D^p中的所有实例标注为0，组成判别器D的训练数据；

步骤20)基于卷积神经网络，建立预测器P和判别器D结构：通过眷积层提取句子级的特征，然后将其与词汇级特征相连起来，得到最终的句子表示，将句子的表示输入到一个全连接层，并得到一个概率；对于预测器P，所述概率代表着一个实例包含关系r的可能性；对于判别器D，所述概率代表着一个句子来自D^l而不是D^p的可能性；

步骤30)优化所述预测器P和判别器D，得到优化后的预测器P和判别器D；

步骤40)利用优化后的预测器P清除噪声。

2.按照权利要求1所述的基于对抗学习的远监督关系抽取去噪方法，其特征在于，所述步骤10)中，对预测器P进行训练，并最小化如下定义的交叉熵分类损失：

其中，L′_p表示交叉熵分类损失，表示log P(x)在D^p上的期望值，表示log(1-P(x))在Dⁿ上的期望值；预测器P需降低D^l与加权后D^p之间的可区分性，将可区分性作为预测器P训练时的另一部分损失；利用判别器D度量所述可区分性；基于负相关性，采用-L_d作为可区分性的度量；预测器P的目标表示为最小化下列损失函数：

L_p＝(1-λ)L′_p+λ(-L_d)      式(2)

其中，L_p表示预测器P训练时的损失函数，λ用来权衡L′_p与-L_d，-L_d为P提供了真正例的相关信息，从而避免其被L′_p误导；当λ置为0时，P工作在无监督的状态下。

3.按照权利要求1所述的基于对抗学习的远监督关系抽取去噪方法，其特征在于，所述步骤10)中，在评估预测器P预测结果的合理性时，将抽样操作近似为对于每个D^p中的每个实例x，将P(x)作为其权重，并使用权重来度量D^p与D^l之间的相似性。

4.按照权利要求1所述的基于对抗学习的远监督关系抽取去噪方法，其特征在于，所述步骤10)中，最小化下列损失函数对判别器D进行优化：

其中，L_d表示判别器D训练时的损失函数，表示log D(x)在D^L上的期望值，表示P(x)log(1-D(x))在D^p上的求和。