[发明专利]多特征融合的越南语关键词生成方法

权利要求书

1.多特征融合的越南语关键词生成方法，其特征在于：首先在编码过程中融合了词性信息、命名实体信息和位置信息；其次利用双向注意力机制增强标题信息在生成过程中的指导作用；最后将融合多种语义信息的特征向量送入解码层，输出最终预测概率分布，进而生成越南语关键词。

2.根据权利要求1所述的多特征融合的越南语关键词生成方法，其特征在于：所述方法的具体步骤如下：

Step1、爬取越南语新闻文档及关键词；

Step2、对越南语新闻文档及关键词过滤筛选，对新闻文档字符长度小于50个及大于300个的文档进行删除；删除新闻文档中关键词个数小于2的文档；对越南语文档进行分词预处理，将所有数字替换为digit；

Step3、采用VnCoreNLP越南语自然语言处理工具包对预处理后的越南语文档语料进行词性标注和命名实体识别，并计算词汇的位置向量来提高生成关键词的质量，计算表达式为：

其中l代表词汇的位置向量，i代表新闻文档中第i个词汇的位置，n代表该新闻文档中总的词汇数目；

Step4、将每个词汇的词性标注和命名实体识别映射为词性向量和命名实体向量，得到的词性向量、命名实体向量、位置向量l与原始词向量拼接，最终构成一个512维的上下文向量对预处理后的越南语文档语料进行标题向量的提取；

Step5、双向GRU作为编码器，输入的是带有词性向量、命名实体向量、位置向量l、原始词向量的上下文向量X＝(x₁,...,x_i)和标题向量T＝(t₁,...,t_j)；得到上下文和标题的向量表征；

前向GRU从左到右读取输入序列,分别生成上下文隐藏状态序列和标题隐藏状态序列后向GRU反向读取输入序列，分别生成上下文隐藏状态序列和标题隐藏状态序列每个时间步骤中连接前向和后向的GRU隐藏状态，上下文和标题通过双向GRU最终输出隐藏状态分别为H＝(h₁，h₂，...，h_i)和Q＝(q₁，q₂，...，q_j)；

Step6、双向注意力层的输入分别是上下文和标题的向量表征h_i和q_j；在这一层中，通过从上下文到标题以及从标题到上下文两个方向计算注意力；

首先计算相似度矩阵S_ij，计算表达式为：

S_ij＝α(h_i，q_j)

其中S_ij表示第i个上下文词和第j个标题词的相似度；α是一个可训练的标量函数，对其两个输入向量相似性进行编码；h_i是H的第i个列向量，q_j是Q的第j个列向量；选择其中W_(s)是可训练参数；

Step7、从上下文到标题的注意力：上下文到标题的注意力表示哪一个标题词与上下文词最相关；a_i代表第i个上下文词到标题词注意力，其中∑a_ij＝1；a_ij代表第i个上下文词到第j个标题词的注意力，注意力值的计算表达式为：

u_i＝softmax(S_i：)

从标题到上下文的注意力：标题到上下文的注意力表示哪一个上下文词与标题词最相关；b_i代表标题词第i个上下文词的注意力，其中∑b_ij＝1；b_ij代表第j个标题词到第i个上下文词的注意力，注意力值的计算表达式为：

v_i＝softmax(S_：j)

将上下文向量和注意力向量组合在一起产生G＝[g₁，g₂，…，g_i]，G的表达式为：

Step8、合并层对上下文向量h_i和聚合相关标题信息的向量g_i进行编码，最后得到融合标题信息的上下文表示，计算表达式为：

其中λ∈(0，1)是超参数；为融合标题信息的上下文表示；

Step9、解码层使用了一个基于注意力的单向GRU进行解码，计算表达式为：

其中t＝1，2，…，L_y，L_y是预测关键词的长度，e_t-1是第t-1个预测关键词的词嵌入，e₀是起始符的词嵌入；

Step10、计算第t个预测关键词在预定义词汇表V上的预测概率分布：

其中y_t-1＝[y₁，…，y_t-1]是先前的预测单词序列，w_v，b_v∈R^|v|是可训练的参数向量；

Step11、为了结合复制机制，首先在预测的每一步，通过动态计算一个生成概率g_t：

其中w_g和b_g是可训练的参数；

接下来，g_t用于确定是否将源文档中的单词复制为第t个目标关键词；g_t对词汇分布和注意力分布进行加权平均，最终得到了动态词汇表上的最终预测概率分布ν∪χ，其中x是在源上下文中出现的所有单词；使用P_v(y_t)和P_final(y_t)来分别表示P_v(y_t|y_i-1，X，t)和P_final(y_i|y_i-1，X，t)：

其中是h_t和之间的归一化注意力得分；对于所有词表外的单词，P_v(y_t)设置为0；如果y_t没有出现在上下文里，复制概率则为0。