[发明专利]基于笔画和自注意力机制的神经网络中文问题生成系统

权利要求书

1.一种基于笔画和自注意力机制的神经网络中文问题生成系统，用于根据被获取的中文段落生成相应的中文问题，其特征在于，包括：

笔画词向量存储部，用于存储预先训练得到的笔画词向量，

中文段落获取部，用于获取所述中文段落，

提示词提取部，用于根据预设的提取方法从所述中文段落中提取一个或多个关键词作为一个提示词，

词向量转换组合部，用于将所述中文段落转换为中文词向量、将所述提示词转换为掩码形式的提示词掩码、并将所述中文词向量以及所述提示词掩码与所述笔画词向量组合形成组合向量，

问题词生成部，用于根据所述组合向量生成多个问题词，

中文问题组合输出部，用于将所述问题词依序组合为一个所述中文问题并进行输出，实现全自动地对获取的中文段落生成相应的中文问题，

其中，所述问题词生成部包含一个预先训练完成的中文问题神经网络模型，用于计算组合向量并生成多个问题词，该模型由基于答案的多样性问题生成方法以及基于自注意力的复制算法构成，

所述问题词生成部包括记忆向量生成单元、隐藏状态向量生成单元、复制词向量生成单元、生成词向量生成单元以及问题词生成单元，其中，所述记忆向量生成单元和所述隐藏状态向量生成单元包含有采用所述基于答案的多样性问题生成方法的计算机程序，

所述记忆向量生成单元将所述组合向量输入一个双层双向的长短期记忆网络从而生成一个融合了所述笔画词向量、所述中文段落以及所述提示词掩码的记忆向量，

所述隐藏状态向量生成单元将所述记忆向量输入至一个基于注意力机制的长短期记忆网络从而生成隐藏状态向量，

所述复制词向量生成单元将所述隐藏状态向量输入基于自注意力机制的复制预测器从而生成得到复制词向量，

所述生成词向量生成单元将所述隐藏状态向量输入基于全连接层的生成预测器从而生成得到生成词向量，

所述问题词生成单元根据所述复制词向量、所述生成词向量以及复制门依次计算与各个所述提示词相对应的所述问题词，其中，所述笔画词向量为预先通过中文笔画形态学表征方法训练获得，该中文笔画形态学表征方法包括如下步骤：

步骤A1，获取中文语料库以及笔画字典；

步骤A2，通过分词方法分割所述中文语料库从而获取语料库单词，并构建所述语料库单词到所述笔画字典；

步骤A3，通过多头注意力机制训练并得到所述笔画词向量，

所述步骤A3中，用S表示从所述笔画字典中得到的笔画向量，注意机制中的Q，K和V表示同源的笔画结构向量，即：

式中，三个权重矩阵的初始化是随机初始化，K^T表示矩阵K的转置，d_k为缩放因子，该缩放因子是一个常数，一般为K的维度，

进一步，通过多头注意力机制计算不同语义层次的所述笔画结构向量之间的关系，即，

MulitiHead(Q,K,V)＝Concat(H₁,…,H_h)W^O       (6)

式中，H_i表示第i个注意力值，分别表示第i个Q、K、V的权重矩阵，

通过重复公式(1)至公式(6)对原始语料进行训练，最终得到与各个所述笔画结构向量相对应的所述笔画词向量。