[发明专利]基于无监督对话预训练的对话理解与答案配置方法及系统

权利要求书

1.基于无监督对话预训练的对话理解与答案配置方法，其特征在于，包括如下步骤：

进行对话相关的对话信息预处理，构建具有对话内容、角色信息及轮次信息的对话输入样本，将对话输入的信息进行词嵌入；所述进行对话相关的对话信息预处理包括：

利用sentencepiece构建分句模型；

基于unigram model算法对所述分句模型进行预训练；

利用训练完成后的分句模型对对话信息进行分句处理；

所述将对话输入的信息进行词嵌入包括：

将对话信息输入嵌入层，所述嵌入层包括对话轮次嵌入层、角色信息嵌入层、位置嵌入层以及单词嵌入层；

经角色信息嵌入层对话信息中句子的角色信息进行词嵌入，经对话轮次嵌入层对句子的轮次信息进行词嵌入，经单词嵌入层对单词的信息进行词嵌入，经位置嵌入层对单词的位置信息进行词嵌入；

将带有对话文本单词信息、位置信息、角色信息以及轮次信息的词嵌入输出结果相加作为对话预训练语言模型encoder的输入；所述对话预训练语言模型为采用adapter方法进行权重初始化后的Transformer模型，其中，采用adapter方法进行权重初始化具体包括：

将对话样本x输入一个公开的预训练语言模型LM，记录该预训练语言模型LM中每层被激活的神经元；

将对话样本x输入所述Transformer模型，记录每层被激活的神经元；

计算预训练语言模型LM中激活神经元在各层的占比receiver和Transformer模型中激活神经元在各层的占比demonstrator，得到最小损失函数minObj_adapter如下：

其中，

上式中，N_min为所述Transformer模型encoder与预训练语言模型LM中Transformerencoder的层数最小值，x为对话样本，D为对话文本语料库，l为网络层，为预训练语言模型LM中每层所有的神经元，为Transformer模型中每层所有的神经元；

采用梯度下降算法AsamW对Transformer模型encoder每层的参数进行优化；

对模型encoder输出的编码向量进行基于BiLSTM-CNN的池化处理，获得对话表征向量；

利用对话级别的句子掩码建模、单词整体掩码建模和基于回复生成的对话级别对比学习建模其中之一或其任意组合生成的预训练学习任务，对模型进行优化。

2.如权利要求1所述的基于无监督对话预训练的对话理解与答案配置方法，其特征在于，所述对模型encoder输出的编码向量进行基于BiLSTM-CNN的池化处理包括：

将编码向量输入双向长短记忆网络BiLSTM，对所述编码向量进行降维编码，获得双向降维隐向量：

拼接所述双向降维隐向量：

将拼接后的结果输入卷积神经网络CNN，经最大池化操作输出对话表征向量如下：

上式中，，pooler为对话表征向量，max_pooling（）为最大池化操作，BiLSTM（）为输入双向长短期记忆网络BiLSTM处理过程，CNN（）为输入卷积神经网络CNN处理过程，U为所述Transformer模型输出的N个编码向量的集合，h_i表示拼接双向降维隐向量后的结果，为正向最后一个单元的输出，为反向最后一个单元的输出，R^d/2表示和的深度特征。