[发明专利]一种基于自注意力的观点及其持有者的联合抽取方法

权利要求书

1.一种基于自注意力的观点及其持有者的联合抽取方法，其特征在于：该方法具体包括如下步骤：

S1.构建提取观点及其持有者的语料集

语料集包含两部分，一部分是不包含观点的负样本，另一部分是包含观点及其持有者的正样本，正样本中包含观点及其持有者的标注，一个正样本可以表示为原文，观点持有者及观点＞二元组，其中观点持有者及观点部分的格式为[观点持有者]：[观点]；

S2.识别包含观点的语句

识别包含观点的语句是一个文本二分类问题，正类为包含观点的语句，不包含观点的语句作为负类；

S3.联合抽取观点及其持有者

采用双向LSTM捕捉文本正序和逆序的信息，利用self-attention建立每个词语与上下文词语间的关系，并通过Pointer Network从文中提取出若干词语构成观点持有人，观点二元组；

所述步骤S3具体实现步骤是：

S31：获得词向量，以中文维基百科为语料，利用word2vec模型训练d维的词向量；

S32：把向量化的句子w₁，w₂，...，w_n作为双向LSTM输入，得到融合了前后文信息的词语向量h₁，h₂，…，h_n；

S33：将步骤S32得到的融合语义信息的词语向量，对每个词计算该词w_i与与其他词语w_j之间的权重α_ij，得到加权的向量a′_i，将a′_i和h_i拼接成a_i作为self-attention层的输出，相关公式如下：

e_ij＝W^e*tanh(W^sh_j+W^aa′_i-1)

a_i＝[a′_i；h_i]

其中a′_i表示词语w_i经过self-attention机制加权求和后的结果，α_ij表示词语w_i与与其他词语w_j之间的权重；其中α_ij通过softmax函数计算，在e_ij计算中，W^e，W^s，W^a均是需要学习的参数，最后一个公式表示向量的拼接操作；

S34：将步骤S33得到的输出a₁，a₂，...，a_n做为Pointer Network的encoder的输入，encoder的输出记为h₁，h₂，...，h_n，decoder输出概率最大的输入子序列，该序列就是联合抽取到的观点及其持有者；根据构建的训练语料，输出的序列的第一个单词为观点持有者，其余为观点；

S35：模型训练，训练数据和测试数据可以是将原始数据随机排序，按80％做训练，20％做测试的方法分开。

2.根据权利要求1所述的一种基于自注意力的观点及其持有者的联合抽取方法，其特征在于：所述步骤S2具体采用了基于CNN的文本分类模型，步骤如下：

S21：获得词向量，以中文维基百科为语料，利用word2vec模型训练d维的词向量；

S22：对句子s进行分词处理，利用词向量将s表示为一个矩阵C＝w₁，w₂，...，w_n，其中w₁是句子s中第一个词对应的d维词向量；

S23：用k个卷积核对矩阵C进行处理，每个卷积核的大小为x*d，x是一个大于0小于5的整数，每个卷积操作得到一个n维向量；

S24：对步骤S23得到的k个n维进行最大池化，每个n维向量输出最大的数值，最终得到一个k维向量；

S25：将步骤S24得到的k维向量作为用于分类的全连接网络的输入；

S26：模型训练，训练数据和测试数据可以是将原始数据随机排序，按80％做训练，20％做测试的方法分开。