[发明专利]一种基于Bi-LSTM输入信息增强的关系抽取方法

权利要求书

1.一种基于Bi-LSTM输入信息增强的关系抽取方法，其特征在于包括以下步骤：

步骤一，应用不确定标签标注策略标注数据集，具体如下：

将句子中的每个单词都使用一个标签标注，每一个标签由三部分组成：实体部分、编号部分、关系部分；其中，实体部分用“E”表示实体，“N”表示非实体；编号部分用“1”表示第一个实体，“2”表示第二个实体；关系部分用关系类型的缩写“ED”、“CE”等表示关系类型；非实体单词用“N-X”表示，其中“X”是标签的编号部分和关系部分，它的值不确定，为任意值；

步骤二，应用冗余编码技术对句子的每个单词进行字符级词形编码，产生单词编码向量v_b，用于捕捉词形信息；

步骤三、通过在训练集上运行word2vec3 CBOW模型，产生单词嵌入向量v_q，用于捕捉单词语义信息；

步骤四、将单词编码向量v_b与单词嵌入向量v_q拼接为单词输入向量v，为编码层提供词形特征信息和词义特征信息；

步骤五、应用改进的LSTM模型作为输入信息增强模型编码层，将t时间步的向量v_t输入到编码层，输出编码向量所述改进的LSTM模型是一种单层双向LSTM模型，具体如下：

将输入向量v_t经过一个普通NN层的变换得到输入加强向量然后与前向编码向量后向编码向量拼接得到编码向量其中，前向编码向量用来携带历史单词信息，输入加强向量用来携带当前单词信息，后向编码向量用来携带未来单词信息；编码向量既是编码层的输出，同时也是解码层的输入，用来携带整个句子的信息；

步骤六、将编码层输出的编码向量输入解码层，得到解码向量

其中，f_t⁽²⁾,

分别表示解码层t时间步的输入门、遗忘门、输出门的输出；

是解码层t时间步的细胞状态，是一个方向的解码向量；是解码向量，包含实体标签、关系类型、实体编号信息；σ是sigmoid激活函数，W是权重矩阵，b是偏置；

步骤七、应用三个分层次的NN细胞，从解码向量中分别提取出实体标签、关系类型、实体编号信息，并转换为相应标签：

其中，分别是实体标签、关系类型、实体编号的预测值，W是权重矩阵，b是偏置；

步骤八、使用Adam算法计算梯度，使用BPTT算法更新权重，通过最大化目标函数训练模型，目标函数如下：

其中，S是训练集句子总数，T_s是第s句的长度，分别是实体标签、关系类型、实体编号的真实值，分别是实体标签、关系类型、实体编号的预测值；l、u、v分别是关系类型数、实体编号数、实体类型数；u^e是实体标签向量，sum函数的第二个参数axis＝entity_axis意味着在实体维求和；θ是实体标志，当前单词是实体时，它的值为1，否则为0；此时，非实体单词的关系类型和实体编号部分的损失不计入损失函数。

2.如权利要求1所述的一种基于Bi-LSTM输入信息增强的关系抽取方法，其特征在于，所述步骤二包括以下步骤：

首先，用冗余编码技术对每个字符进行编码为唯一的向量；

之后，用空格字符将长度不够的单词填充到预设长度WL，或者截断超长单词到预设长度WL；

最后，依据组成单词的字符序列，拼接所有的字符向量，形成单词编码向量v_b。