[发明专利]基于Transformer模型的问答方法、问答装置及存储装置

说明书

本发明涉及自然语言处理技术领域，具体公开了一种基于Transformer模型的问答方法、问答装置及存储装置。该问答方法包括：获取用户输入的问句文本，对问句文本进行处理，得到问句序列；对问句序列进行解码，获得与问句序列相关的多个候选回答；将问句序列与每个候选回答进行拼接；对每个拼接结果进行打分，选取最高得分对应的候选回答作为问句序列的最优回答。通过上述方式，本发明能够解决回答问题意图识别不够准确，回复答案不够人性化以及对话过程中的上下文联系不够紧密的问题。

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种基于Transformer模型的问答方法、问答装置及存储装置。

背景技术

传统的线上问答系统的搭建方式是基于流水线的。在单轮问答或领域性知识问答的前提下，通过预先设置好知识库以及知识库内问题对应的答案，当用户提问的时候，首先通过意图识别模块，对用户问句的实际意图进行识别，经过意图识别，缩小知识库的筛选范围，对问题进行召回，再通过深度学习模型进行深度语义的相似度匹配，最终将返回匹配度较高的文本答案。除了基于流水线的方式，当前还有基于端对端的对话系统也正在快速发展。但是基于端对端的问答模型系统相比于传统知识库问答，存在以下弊端：1.回答问题意图识别不够准确。2.回复答案不够人性化。3.对话过程中的上下文联系不够紧密，更像是单轮对话的简单问答。

发明内容

本发明提供一种基于Transformer模型的问答方法、问答装置及存储装置，能够解决回答问题意图识别不够准确，回复答案不够人性化以及对话过程中的上下文联系不够紧密的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于Transformer模型的问答方法，包括：

获取用户输入的问句文本，对所述问句文本进行处理，得到问句序列；

对所述问句序列进行解码，获得与所述问句序列相关的多个候选回答；

将所述问句序列与每个所述候选回答进行拼接；

对每个所述拼接结果进行打分，选取最高得分对应的所述候选回答作为所述问句序列的最优回答。

根据本发明的一个实施例，所述Transformer模型的网络结构包括解码层和设于所述解码层之后的互信息层，所述对所述问句序列进行解码，获得与所述问句序列相关的多个候选回答的步骤包括：

将所述问句序列输入到解码层中，输出与所述问句序列相关的一个所述候选回答；

循环将所述问句序列与所述解码层的输出结果进行拼接后，再次输入到所述解码层中，获得多个所述候选回答。

根据本发明的一个实施例，所述解码层包括：依次设置的自注意力机制模块、前馈网络模块以及归一化处理模块；所述将所述问句序列输入到所述解码层中，输出与所述问句序列相关的一个所述候选回答的步骤包括：

采用所述自注意力机制模块对所述问句序列进行特征提取；

采用所述前馈网络模块对特征提取结果进行非线性变换；

采用所述归一化处理模块对非线性变换结果进行归一化处理。

根据本发明的一个实施例，所述获取用户输入的问句文本，对所述问句文本进行处理，得到问句序列的步骤还包括：

获取用户输入的问句文本，所述问句文本包括问句以及包含所述问句的对话句子；

对所述问句和所述对话句子插入标签；

对插入标签后的所述问句进行编码和词嵌入处理，得到所述问句序列，所述问句序列包括：序列编码和位置编码，所述位置编码为相对位置编码。

根据本发明的一个实施例，所述对所述问句和所述对话句子插入标签的步骤包括；