[发明专利]一种基于语义感知的一对多对话生成方法及装置

权利要求书

1.一种基于语义感知的一对多对话生成方法，其特征在于，获取实时输入问题，将实时输入问题送入训练好的对话生成模型，对话生成模型根据输入问题得到多样性的回复，对话生成模型包括输入编码器、输出编码器、识别网络、先验网络、分类器、no emotion解码器、positive解码器、negative解码器；

对话生成模型的训练过程包括预训练和训练两个过程，具体表示为：

101、获取多组对话样本对输入编码器、输出编码器、识别网络、先验网络、分类器、预训练解码器进行预训练，预训练过程包括：

S11.对多组对话样本进行预处理，每组对话样本包括问题、回复和问题的情感标签；

S12.从多组预处理后的对话样本中抽取一组对话样本，将对话样本中预处理后的问题和回复分别送入输入编码器和输出编码器进行编码，得到问题向量表示和回复向量表示；

S13.将问题向量表示送入先验网络得到先验分布的参数，将回复向量表示送入识别网络得到近似后验分布的参数，计算先验分布和近似后验分布的KL散度并计算KL散度损失；

S14.根据近似后验分布的参数得到隐变量，将隐变量输入分类器计算当前对话样本属于各类别的归一化概率，取最大的归一化概率的类别作为分类结果，并计算分类损失；

S15.将隐变量作为预训练解码器的初始状态，将回复输入预训练解码器得到输出结果，并根据输出结果计算重构期望损失；

S16.将KL散度损失、分类损失和重构期望损失相加，通过梯度反向传播更新对话生成模型的参数，参数更新后返回步骤S12进行迭代，直到参数收敛完成对话生成模型的预训练；

102、完成预训练后，固定输入编码器、输出编码器、识别网络、先验网络和分类器的参数，将对话样本按照无情感、积极情感和消极情感分为三种类型的对话数据，分别用于noemotion解码器、positive解码器、negative解码器，采用重构损失函数依次训练三种解码器，直到三种解码器的参数收敛完成对话生成模型的训练。

2.根据权利要求1所述的一种基于语义感知的一对多对话生成方法，其特征在于，对多组对话样本采用Word2vec进行预处理包括，得到问题词嵌入序列{e(C₁),e(C₂),...,e(C_n)}和回复词嵌入序列{e(X₁),e(X₂),...,(X_n)}，e(·)表示对对话样本中的单词做词嵌入，{C₁,C₂,...,C_n}为对话样本中的问题，{X₁,X₂,...,X_n}为对话样本中的回复。

3.根据权利要求1所述的一种基于语义感知的一对多对话生成方法，其特征在于，计算KL散度的公式为：

其中，μ、σ为近似后验分布的参数，μ'、σ'为先验分布的参数，dz是隐变量维度，q_φ表示近似后验分布，表示先验分布，j表示当前维度数。

4.根据权利要求1所述的一种基于语义感知的一对多对话生成方法，其特征在于，步骤S14中，根据近似后验分布的参数重参数化得到隐变量，重参数化表示为：

z＝μ+σε；

其中，ε从标准高斯分布中采样得到，z为隐变量，μ、σ为近似后验分布的高斯分布参数。

5.根据权利要求1所述的一种基于语义感知的一对多对话生成方法，其特征在于，步骤S15中将隐变量通过多层感知机mlp转化成和预训练解码器相同维度的张量，从而将其作为预训练解码器的初始化隐状态h₀和初始化细胞状态c₀。