[发明专利]一种问答匹配注意力处理方法、计算机设备及存储介质

说明书

本发明公开了一种问答匹配注意力处理方法，该方法为：建立一个多任务学习神经网络模型；多任务学习神经网络模型包括主任务和辅助任务神经网络模型；主任务神经网络模型用于提取答案特征向量及注意力特征向量，辅助任务神经网络模型用于提取答案的外部化程度特征向量；辅助任务神经网络模型附加到主任务神经网络模型上；获取训练样本，并对问答匹配的样本标记答案的外部化程度；将处理后的样本输入多任务学习神经网络模型进行综合损失训练，对多任务学习神经网络模型的共享参数进行优化。本发明还公开了一种实施本发明的方法的计算机设备及存储介质。本发明能够专注于外部化特征，避免问题和答案之间的相关信息丢失，增强深度神经网络的可解释性。

技术领域

本发明涉及机器学习和文本数据挖掘技术领域，尤其涉及一种问答匹配注意力处理方法、计算机设备及存储介质。

背景技术

目前，近年来，社区问答平台(Community Question Answering,CQA)(例如Quora，知乎)因为其能够提供比传统搜索引擎更丰富的信息而迅速的发展。其中对于如何保证CQA中答案质量的研究是非常重要的一个研究方向。对此，为了保证答案质量，很多学者进行了大量的研究工作，例如专家发现，信息检索，问答匹配等等。目前，在问答匹配的研究中，大部分研究都假定问答和答案的文本相似程度可以用来判定问题和答案是否匹配，并且大部分研究都是对问题和答案分别处理并提取特征向量的，这种分别处理的方式导致问题和答案之间有很多相关信息被忽略了。因此，为了避免问题和答案之间的相关信息丢失和增强深度神经网络的可解释性，注意力网络被引入到了问答匹配中。目前，在问答匹配中大部分的注意力模型都是用一些初级文本特征来构建注意力的，比如说给那些在问题和答案中都出现的元素以更高的权重等。这种方式可能了很多在CQA中很重要的高级特征，比如说可读性，可理解性，语言逻辑等等。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种问答匹配注意力处理方法、计算机设备及存储介质。旨在结合适合CQA场景的理论来提高问答匹配中注意模型的准确性和可解释性。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种问答匹配注意力处理方法，建立一个多任务学习神经网络模型；所述多任务学习神经网络模型包括主任务神经网络模型和辅助任务神经网络模型；所述主任务神经网络模型用于提取答案特征向量及注意力特征向量，所述辅助任务神经网络模型用于提取答案的外部化程度特征向量；所述辅助任务神经网络模型附加到所述主任务神经网络模型上；获取训练样本，并对问答匹配的样本标记答案的外部化程度；将处理后的样本输入所述多任务学习神经网络模型进行综合损失训练，对所述多任务学习神经网络模型的共享参数进行优化。

进一步地，所述辅助任务神经网络模型具有单独的池化层、连接层和输出层。

进一步地，该方法包括如下具体步骤：

步骤一、获取问题文本和回答文本的样本集，对样本集中的问题文本和回答文本进行分词处理，得到语料分词数据；对得到的语料分词数据进行嵌入处理，得到问题的嵌入矩阵,用E^q表示,以及答案的嵌入矩阵，用E^a表示；

步骤二，设第一注意力矩阵表示E^q的第i个单词向量和E^a中的第j个单词向量的相似性，第一注意力矩阵用A¹表示；构造两个可训练矩阵和其中M^q用于将A¹转换为与E^q大小相同的矩阵I^q，M^a用于将A¹的转置矩阵转换为与E^a大小相同的矩阵I^a；l_a表示答案文本的最大字符串数量；l_q表示问题文本的最大字符串数量；d表示词向量维度；转换公式如下：

I^q＝A¹·M^q；