[发明专利]一种基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法

权利要求书

1.一种基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法，其特征在于，包括以下步骤：

步骤1)：对专利文本进行预处理，识别出术语特征，同时加入位置信息，并通过改进的TextRank算法获得类别关键词特征，并将其组成向量矩阵；

步骤2)：将向量矩阵导入Bi-LSTM模型中，采用注意力机制获得文本信息的整体特征；

步骤3)：利用最大池化层选择每个句子的关键特征作为局部特征；

步骤4)：将整体特征和局部特征融合；

步骤5)：使用softmax分类器输出分类结果。

2.根据权利要求1所述的基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法，其特征在于，所述步骤1)中改进的TextRank算法具体为：

步骤A：输入待处理的专利文本信息集S＝{s₁，s₂，s₃，...，s_n}，并设定参数：阻尼系数d、滑动窗口大小w、最大迭代次数I、迭代停止阈值

步骤B：将专利文本信息集S中对应的每个文本s_i进行分词、词性标注，过滤掉停用词并只保留指定词性的词语(动词、形容词、名词)，这些词形成最终候选的类别特征关键词；

步骤C：通过TF-IDF算法计算专利文本信息集S中每个词语的TF-IDF值；

步骤D：基于滑动窗口大小w遍历专利文本信息词语，然后采用共现关系(co-occurrence)构造任两个词语之间的边，从而构建由s_i中的词语构成的关键词图G_i；

步骤E：根据公式(1)迭代计算关键词图G_i中每个词语的权重，直至收敛，公式(1)如下所示：

其中：W(v_i)为节点v_i的权值；d为阻尼系数，表示从图中某一特定节点指向其他任意节点的概率，设置为0.85；In(v_i)表示指向节点v_i的节点集合；Out(v_j)表示从节点v_j出发的边指向的节点集合；w_ji表示节点v_j到v_i的边的权值，W′(v_i)_TF-IDF表示节点v_i的TF-IDF值；

步骤F：通过权值大小对关键词图G_i中的每个词语进行排序，选择权值最大且词性为动词的词语作为类别特征关键词。

3.根据权利要求1所述的基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法，其特征在于，所述步骤2)具体为：注意力层所使用的公式如(2)、(3)、(4)所示：

M＝tanh(H)(2)

α＝softmax(w^TM)(3)

其中，H是由Bi-LSTM层T个时刻输出的矩阵[h₁，h₂，h₃，...，h_T]且d^w表示词向量的维度；w表示训练参数向量且w^T表示w的转置；α表示注意力概率分布向量；h^*表示学习到的句子表示。

4.根据权利要求1所述的基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法，其特征在于，所述步骤3)具体为：对于Bi-LSTM模型的输出结果H使用最大池化的方法对其进行统计计算，如公式(5)所示：

h′＝maxpool(H)(5)。

5.根据权利要求1所述的基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法，其特征在于，所述步骤4)具体为：特征融合是将注意力层和池化层的计算结果进行合并，如公式(6)所示：

其中表示向量拼接。

6.根据权利要求1所述的基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法，其特征在于，所述步骤5)具体为：使用softmax分类器从句子S的离散类Y集合中预测标签分类器将特征融合之后的结果作为输入，公式如(7)、(8)所示：

所使用的损失函数是真实类标签y的负对数似然函数，并使用L2正则化来防止过拟合，计算公式如(9)所示：

其中，表示真实类别标签y的one-hot形式，表示softmax对每个类的估计概率；m表示训练样本个数；示L2正则化超参数；示模型可训练参数。