[发明专利]一种开放域对话回复自动生成方法、系统及存储介质

权利要求书

1.一种开放域对话回复自动生成方法，其特征在于，包括如下步骤：

S1，提供一对话语料数据集，对所述对话语料数据集进行预处理，得到用户问句；

S2，依据TBERT模型对所述用户问句进行编码处理，生成主题向量，所述主题向量经函数处理得到主题词；

S3，将所述主题词引入到开放域对话系统模型中，生成回复信息。

2.根据权利要求1所述的开放域对话回复自动生成方法，其特征在于，所述S1中所述预处理具体包括：

将所有字母转变为小写字母；

过滤掉非拉丁字符和停用词；

过滤掉出现次数小于预设次数的词。

3.根据权利要求1所述的开放域对话回复自动生成方法，其特征在于，所述S2具体包括以下步骤：

S21，依据TBERT模型对所述用户问句进行向量化处理，得到字符向量；

S22，依据TBERT模型的自注意力机制及多头注意力机制对所述字符向量进行编码处理，得到所述字符向量的隐藏状态；

S23，将所述字符向量的隐藏状态的第一个字符作为问句向量，所述问句向量通过主题输入矩阵和主题输出矩阵处理得到主题向量；

S24，将所述主题向量通过函数处理来预测用户问句中的每个词，得到用户问句对应的主题词。

4.根据权利要求1所述的开放域对话回复自动生成方法，其特征在于，所述S3中的所述开放域对话系统模型包括编码器及解码器，所述编码器与所述解码器由两个带门控循环单元的循环神经网络组成。

5.根据权利要求4所述的开放域对话回复自动生成方法，其特征在于，所述S3具体包括以下步骤：

S31，将所述主题词引入到开放域对话系统模型中，所述编码器通过双向GRU将所述用户问句编码呈隐藏状态；

S32，所述门控单元将所述主题向量引入所述隐藏状态的用户问句中生成语料词汇表；

S33，所述语料词汇表与所述主题词组成的主题词表在联合生成单元中提供回复词，所述回复词经解码器解码生成回复。

6.根据权利要求3所述的开放域对话回复自动生成方法，其特征在于，所述S22中将字符向量编码为隐藏状态的公式为：

MultiHead(Q，K，V)＝Concat(head₁，head₂，...，head_h)W^O

head_i＝Attention(QW_i^Q，KW_i^K，VW_i^V) (2)

其中，Q、K和V分别表示为查询、键和值，softmax表示逻辑回归函数，Concat表示连接操作，表示参数矩阵，在TBERT模型中，多头注意力层数h＝12，d_k＝d_v＝d_model/h＝64。

7.根据权利要求3所述的开放域对话回复自动生成方法，其特征在于，所述S23中所述问句向量转化为所述主题向量的公式为：

V_a＝softmax(IV_q) (3)

V_t＝O^TV_a (4)

其中，V_a表示为注意力分布，I表示为主题输入矩阵，V_q表示为问句向量，V_t表示为主题向量，O表示为主题输出矩阵。