[发明专利]建模对话轮次信息的检索式闲聊对话打分方法

说明书

本发明提供了一种引入对话历史信息的局部注意力机制的检索式对话系统，在开放领域的检索式对话中，传统的模型分为表示层，匹配层，集成层，预测层中，最后从候选集中选出和对话最匹配的候选回复。将表示层划分成单句表示和句间关系两部分进行分别建模。在建模对话的轮次信息时使用局部注意力机制，使得在训练模型时，注意力机制能够获得对于匹配任务更有帮助的轮次信息。局部注意力机制也能够提高模型对整个对话中不同位置内容的关注能力。针对对话中的每部分内容，对重要信息赋予较大权重，次要信息或干扰信息赋予较小权重，实现更好的回复匹配，加快训练速度，提高模型效率。

技术领域

本发明涉及基于注意力机制的检索式开放领域对话领域，是一种基于局部注意力机制建模对话轮次信息的检索式对话打分机制。

背景技术

对话的建模，目前主要分为检索式、生成式。检索式就是通过检索与匹配的方式从已有的大量候选回复集中找出最合适的那个作为答复。生成式则是通过训练来把对话的问句和答句部分分别放入编码器和解码器中，推理的时候首先模型的编码部分去读历史对话，然后模型中的解码部分直接生成相应的回复。检索式对话之前有常用的四个模型：Multi-view,SMN,DUA,DMA四个模型。Multi-view提出了将多轮对话建模为一个语义单元来建模多轮对话问题；SMN使用基于交互的匹配模型代替基于表示的匹配模型，并对文本进行多粒度表示；DUA对上下文向量进行深度的编码来建模多轮对话之间的依赖关系；DAM一方面对文本对进行多粒度表示并提出了一种深度注意力的方法，另一方面提出了一种将词级别和句子级别的信息整合到一起，构建一个多通道的三维立方体(其实是把每个句子看成单帧的图像，将这个正方体类比成视频)，进而通过三维图像分类器完成匹配的新思路。

发明内容

DAM的局限性主要出现在被选中候选集中的回复，基本适用于该对话，但细节与上下文并不匹配。或者是会在匹配模型没有学习到真正的语义关系，而是对于多轮对话的内容产生了混淆，从而影响到选择真正的回答。模型之所以会产生细节不匹配或语义混淆，主要的原因是在模型计算匹配分数时，使用的三维卷积，每个三维卷积的操作都会将n个前文对话的n个单词和候选集中回复的n个单词放入同一个三维卷积中进行卷积处理。输入矩阵的在滑窗里的部分与卷积核矩阵对应位置相乘，再将通道内矩阵产生的结果求和，导致在多轮对话的句子很难学习到相应的句子权重。为了解决现有的技术问题，本发明提供了一种在卷积之前引入对话轮次依赖信息注意力的方法，方案如下：

步骤一：基于开放领域的闲聊数据集，中文数据集将句子进行分词处理，英文数据集将数据去大小写，做英文词的预处理。将词典按照出现的词频排序，取前百分之九十构建词表。

步骤二：将问句和候选回复集中的句子每个词映射为对应的词向量，将输入部分映射为一个词向量的矩阵。

步骤三：编码阶段，使用注意力机制，使用自注意力机制进行编码，使用多头注意力提取不同表示子空间里的信息。编码器有多层。

步骤四：使用交互注意力作为另外一种编码方式，将问句和候选回复作为输入，获取他们之间的语义联系。

步骤五：将多轮对话多层的自注意力和交互注意力的编码组合成为三维的立方体，再使用引入轮次注意力，根据对话的语境发展，每句对应不同的权重。最后使用三维卷积提取匹配特征。

步骤六：使用卷积提取的特征经过激活函数计算匹配分数。

附图说明

图1为对话中上下文每句计算注意力的示意图；

图2为注意力机制示意图；

图3为多头注意力机制计算及拼接示意图；

图4为本发明提供的一种基于局部注意力机制在多轮对话任务上的方法流程图。

具体实施方式

接下来将对本发明的实施方案作更详细的描述。