[发明专利]建模对话轮次信息的检索式闲聊对话打分方法

摘要

本发明提供了一种引入对话历史信息的局部注意力机制的检索式对话系统，在开放领域的检索式对话中，传统的模型分为表示层，匹配层，集成层，预测层中，最后从候选集中选出和对话最匹配的候选回复。将表示层划分成单句表示和句间关系两部分进行分别建模。在建模对话的轮次信息时使用局部注意力机制，使得在训练模型时，注意力机制能够获得对于匹配任务更有帮助的轮次信息。局部注意力机制也能够提高模型对整个对话中不同位置内容的关注能力。针对对话中的每部分内容，对重要信息赋予较大权重，次要信息或干扰信息赋予较小权重，实现更好的回复匹配，加快训练速度，提高模型效率。

主权项

1.一种建模对话轮次信息的检索式闲聊打分方法，使用局部注意力机制建模对话轮次信息。所述方法包含以下结构和步骤：(1)基于开放领域的闲聊数据集，中文数据集将句子进行分词处理，英文数据集将数据去大小写，做英文的预处理。将词典按照出现的词频排序，取前百分之九十构建词表；(2)将问句和候选回复集中的句子每个词映射为对应的词向量，将输入部分映射为一个词向量的矩阵；(3)编码阶段，使用注意力机制，使用自注意力机制进行编码，使用多头注意力提取不同表示子空间里的信息。编码器有多层；(4)使用交互注意力作为另外一种编码方式，将问句和候选回复作为输入，获取他们之间的语义联系；(5)将多轮对话多层的自注意力和交互注意力的编码组合成为3D的立方体，再使用引入句间轮次信息注意力，根据对话的语境发展，每句对应不同的权重。需要引入注意力信息，对于候选回复做局部注意力。局部注意力的窗口大小是卷积深度(沿着对话轮次方向的卷积深度)。最后使用三维卷积提取匹配特征；(6)使用卷积提取的特征经过激活函数计算匹配分数。