[发明专利]一种基于Bi-LSTM输入信息增强的关系抽取方法

摘要

本发明提出了一种基于Bi‑LSTM输入信息增强的关系抽取方法，属于计算机人工智能自然语言处理领域。通过应用不确定标签的策略标注数据集，应用冗余编码技术对每个单词进行字符级编码产生词形编码向量。词形编码向量与词嵌入向量拼接生成词向量用于捕捉词形与词义信息。通过应用输入信息增强的Bi‑LSTM作为模型编码层，将词向量输入编码层，输出编码向量。将编码向量输入解码层，得到解码向量。应用三个分层次的NN，从解码向量分别提取出实体标签、关系类型、实体编号信息。最后，计算梯度、更新权重，通过最大化目标函数训练模型。本发明方法提高了系统的鲁棒性，减少了非实体单词带来的干扰信息，有效提高了关系抽取的准确率和召回率。

主权项

1.一种基于Bi‑LSTM输入信息增强的关系抽取方法，其特征在于包括以下步骤：步骤一，应用不确定标签标注策略标注数据集，具体如下：将句子中的每个单词都使用一个标签标注，每一个标签由三部分组成：实体部分、编号部分、关系部分；其中，实体部分用“E”表示实体，“N”表示非实体；编号部分用“1”表示第一个实体，“2”表示第二个实体；关系部分用关系类型的缩写“ED”、“CE”等表示关系类型；非实体单词用“N‑X”表示，其中“X”是标签的编号部分和关系部分，它的值不确定，为任意值；步骤二，应用冗余编码技术对句子的每个单词进行字符级词形编码，产生单词编码向量vb，用于捕捉词形信息；步骤三、通过在训练集上运行word2vec3 CBOW模型，产生单词嵌入向量vq，用于捕捉单词语义信息；步骤四、将单词编码向量vb与单词嵌入向量vq拼接为单词输入向量v，为编码层提供词形特征信息和词义特征信息；步骤五、应用改进的LSTM模型作为输入信息增强模型编码层，将t时间步的向量v_t输入到编码层，输出编码向量所述改进的LSTM模型是一种单层双向LSTM模型，具体如下：将输入向量v_t经过一个普通NN层的变换得到输入增强向量然后与前向编码向量后向编码向量拼接得到编码向量其中，前向编码向量用来携带历史单词信息，输入加强向量用来携带当前单词信息，后向编码向量用来携带未来单词信息；编码向量既是编码层的输出，同时也是解码层的输入，用来携带整个句子的信息；步骤六、将编码层输出的编码向量输入解码层，得到解码向量其中，分别表示解码层t时间步的输入门、遗忘门、输出门的输出；是解码层t时间步的细胞状态，是一个方向的解码向量；是解码向量，包含实体标签、关系类型、实体编号信息；步骤七、应用三个分层次的NN细胞，从解码向量中分别提取出实体标签、关系类型、实体编号信息，并转换为相应标签：其中，分别是实体标签、关系类型、实体编号的预测值，W是权重矩阵，b是偏置；步骤八、使用Adam算法计算梯度，使用BPTT算法更新权重，通过最大化目标函数训练模型，目标函数如下：其中，S是训练集句子总数，T_s是第s句的长度，分别是实体标签、关系类型、实体编号的真实值，分别是实体标签、关系类型、实体编号的预测值；l、u、v分别是关系类型数、实体编号数、实体类型数；u^e是实体标签向量，sum函数的第二个参数axis＝entity_axis意味着在实体维求和；θ是实体标志，当前单词是实体时，它的值为1，否则为0；此时，非实体单词的关系类型和实体编号部分的损失不计入损失函数。