[发明专利]一种基于双层注意力机制与双向GRU的文本关系抽取方法

权利要求书

1.一种基于双层注意力机制与双向GRU的文本关系抽取方法，其特征在于：包括如下步骤：

S1：对文本语料进行实体标注和关系标注；

S2：对标注数据进行预处理，生成实体抽取模型和关系抽取模型的训练集和测试集；

S3：构建关系抽取网络；

S4：分别进行实体抽取模型训练和关系抽取模型训练；

S5：将测试集数据首先输入实体抽取模型，得到实体识别结果；

S6：实体识别结果和测试集数据输入关系抽取模型，得到关系抽取结果。

2.根据权利要求1所述的一种基于双层注意力机制与双向GRU的文本关系抽取方法，其特征在于：所述步骤S1中采用人工方式进行实体标注和关系标注。

3.根据权利要求2所述的一种基于双层注意力机制与双向GRU的文本关系抽取方法，其特征在于：所述实体标注具体为：将实体标注数据转换为BMES实体标注体系，B表示实体的起始位置，M表示实体的中间部分，E表示实体的结束位置，S表示实体是一个单字实体；

所述关系标注具体为：将关系抽取数据转化为{实体1，实体2，实体1起始位置，实体1结束位置，实体1标签，实体2起始位置，实体2结束位置，实体2标签，文本段落}的形式。

4.根据权利要求1所述的一种基于双层注意力机制与双向GRU的文本关系抽取方法，其特征在于：所述步骤S3具体为：

S3-1：将实体位置信息和实体标签信息扩充字向量特征，实现文本信息的向量化，作为模型输入；

S3-2：模型网络第一层为双向GRU：

每个GRU单元分别包含包括一个重置门和一个更新门，更新门z_t用于控制前一时刻输出h_t-1与当前时刻输入x_t中所含信息的保留程度，将其作为t时刻门控单元的输出h_t；而重置门r_t通过x_t决定前一时刻h_t-1中信息的遗忘程度，计算得到当前时刻的记忆以及经过重置门和更新门后的的当前时刻隐状态h_t，t时刻GRU单元的更新门z_t、重置门r_t、新记忆最终隐状态h_t的计算如下：

z_t＝σ(W_z·[h_t-1,x_t])

r_t＝σ(W_r·[h_t-1,x_t])

其中，σ()为sigmoid非线性激活函数，用于增强模型对非线性数据的处理能力，σ(x)＝1/(1+e^-x)。*表示点乘，tanh(x)＝(e^x-e^-x)/(e^x+e^-x)，W、W_r、W_z是模型的权值矩阵，[]表示将两个向量连接。

S3-3：模型网络第二层为字级注意力层：

对于一个句子向量w＝{w₁,w₂,…,w_T}将步骤S3-2中所得结果h_t，通过下式进行处理，得到u_t；

u_t＝tanh(W_w·h_t+b_w)

S3-4：第三层为句级注意力层：

将字级注意力层的输出s组成的句子特征值作为句级注意力层的输入，加入随机初始化的字上下文向量u_s进行共同训练，v是所有句子的向量和，具体公式如下：

u_i＝tanh(W_s·s_i+b_s)

S3-5：第四层为Softmax分类器：

Softmax分类器将v映射到一组元素在[0,1]区间内的向量，向量和为1，如下式所示：

y＝Softmax(v),y＝[y₁,y₂,…,y_N]and y_i∈[0,1]and ∑y_i＝1

其中，N为关系标签数量，即关系抽取分类数量；

S3-6：经过上述四层网络最终生成分类结果。