[发明专利]基于图卷积网络和注意力机制的文本关联方法及相关设备

权利要求书

1.一种基于图卷积网络和注意力机制的文本关联方法，包括：

获取用户问题和文档；

通过分词算法分别提取所述用户问题的关键词和所述文档的关键词，并确定各所述用户问题的关键词的权重和各所述文档的关键词的权重；

利用词向量模型对所述用户问题的关键词和所述文档的关键词进行嵌入，以得到所述用户问题的第一词向量序列和所述文档的第二词向量序列；

从所述第二词向量序列中选取部分所述权重较大的关键词对应的词向量作为第三词向量序列，基于所述第三词向量序列生成第一交互图；

对于所述第一词向量序列中的每个词向量，分别将该词向量与所述第三词向量序列中的各个词向量进行交互，以构建该词向量对应的第一视图；

将所有所述第一视图输入预先训练的图卷积神经网络模型中，输出所述用户问题和所述文档的关联标签。

2.根据权利要求1所述的文本关联方法，其中，所述第一交互图为无向图，所述第三词向量序列中的各个词向量作为所述无向图的节点，相邻所述节点的相似度作为所述无向图的边。

3.根据权利要求1所述的文本关联方法，其中，所述对于所述第一词向量序列中的每个词向量，分别将该词向量与所述第三词向量序列中的各个词向量进行交互，以构建该词向量对应的第一视图，包括：

对于所述第一词向量序列中的每个词向量，分别计算该词向量与所述第三词向量序列中的各个词向量的第一相似度矩阵；

基于所述第一相似度矩阵计算第一相似度加权词向量；

基于所述第一加权词向量构建所述第一视图。

4.根据权利要求3所述的文本关联方法，其中，所述将所有所述第一视图输入预先构建的图卷积神经网络模型中，输出所述用户问题和所述文档的关联标签，包括：

利用所述图卷积神经网络模型中的卷积层计算得到所有所述第一视图的特征矩阵集合；

基于所述特征矩阵集合通过所述图卷积神经网络模型中的注意力层聚合计算得到所有所述第一视图的交互向量集合；

基于所述交互向量集合通过所述注意力层聚合计算得到特征向量；

基于所述特征向量计算所述关联标签。

5.一种用于文本关联的图卷积神经网络模型的训练方法，包括：

对于训练集中的每一个已标注问题和文档对，

通过分词算法分别提取所述已标注问题的和文档对中的问题的关键词和文档的关键词，并确定各所述问题的关键词的权重和各所述文档的关键词的权重；

利用词向量模型分别对所述已标注问题和文档对中的问题和文档的关键词进行嵌入，以得到该问题的问题词向量序列和该文档的文档词向量序列；

从所述问题词向量序列中选取部分所述权重较大的关键词对应的词向量作为交互词向量序列，基于所述交互词向量序列生成第二交互图；

对于所述问题词向量序列中的每个词向量，分别将该词向量与所述交互词向量序列中的各个词向量进行交互，以构建该词向量对应的第二视图；

将所有所述第二视图输入预先构建的图卷积神经网络模型中，输出所述已标注问题和文档对的预测标签；

计算所述预测标签与所述已标注问题和文档对的真实标签的交叉熵损失函数；

调整所述图卷积神经网络模型的参数以最小化所述交叉熵损失函数。

6.根据权利要求5所述的训练方法，其中，所述第二交互图为无向图，所述交互词向量序列中的各个词向量作为所述无向图的节点，相邻所述节点的相似度作为所述无向图的边。

7.根据权利要求5所述的训练方法，其中，所述对于所述问题词向量序列中的每个词向量，分别将该词向量与所述交互词向量序列中的各个词向量进行交互，以构建该词向量对应的第二视图，包括：

对于所述问题词向量序列中的每个词向量，分别计算该词向量与所述交互词向量序列中的各个词向量的第二相似度矩阵；

基于所述第二相似度矩阵计算第二相似度加权词向量；

基于所述第二加权词向量构建所述第二视图。