[发明专利]基于UniLM与对比学习的相似句生成模型训练方法及相关设备

说明书

本申请实施例属于人工智能领域，涉及一种基于UniLM与对比学习的相似句生成模型训练方法，包括将样本句子输入到相似句生成模型中，其中，句子编码层用于对样本句子进行编码处理得到稠密向量，所述多头自注意力结构用于提取所述稠密向量中的关键信息，将所述关键信息与所述稠密向量组成正样本以计算对比损失函数；将所述稠密向量输入到UniLM模型中，得到输出句子，计算所述样本句子与所述输出句子之间的文本对齐损失函数；将所述对比损失函数和所述文本对齐损失函数相加后，得到总损失函数，并基于梯度下降法计算所述总损失函数的最终值，得到训练后的相似句生成模型。采用本方法提高了训练出的模型的准确率。

技术领域

本申请涉及人工智能领域，特别是涉及一种基于UniLM与对比学习的相似句生成模型训练方法、装置、计算机设备和存储介质。

背景技术

随着技术的发展，自然语言处理在金融、互联网、教育、医疗等领域有着越来越广泛的应用，特别是在FAQ问答领域，通过用户给定的问句，在智能问答系统中取回答案，所涉及的技术就是将用户的问句与FAQ标准问题集中进行匹配，并根据匹配度取回匹配度最高的问题，并将其对应的答案进行返回。传统的FAQ标准问题集往往通过人工标注的方式进行扩充，这种方式耗时耗力，增加了大量人力成本。近年来，基于生成对抗(GAN)或基于变分自编码(VAE)的模型被用来进行相似句的生成，但GAN会面临生成结果不可控，语句不符合语法规范的问题，而VAE依赖于样本的分布和数量，会面临后验坍塌(posterior collapse)的问题。另外，随着预训练语言模型的发展，也有人研究将Bert模型用于相似句生成，研究发现，通过将自监督模型生成的向量进行随机dropout后生成的句子跟原句相比具有较高的相似度，优于通过对原句进行裁剪、删词等常规扩充语句的方法，该方法虽然能一定程度上产生相似句，但是通过随机dropout的方式也可能把更有价值的信息进行丢弃，因此有丢失重要信息的可能。

发明内容

基于此，针对上述技术问题，本申请提供一种基于UniLM与对比学习的相似句生成模型训练方法、装置、计算机设备及存储介质，以解决现有技术中通过随机dropout导致的会丢失重要信息的技术问题。

一种基于UniLM与对比学习的相似句生成模型训练方法，所述方法包括：

将样本句子输入到相似句生成模型中，其中，所述相似句生成模型包括句子编码层、包括一个掩码矩阵的多头自注意力结构，所述句子编码层用于对样本句子进行编码处理得到稠密向量，所述多头自注意力结构用于提取所述稠密向量中的关键信息，将所述关键信息与所述稠密向量组成正样本以计算对比损失函数；

将所述稠密向量输入到UniLM模型中，得到输出句子，计算所述样本句子与所述输出句子之间的文本对齐损失函数；

将所述对比损失函数和所述文本对齐损失函数相加后，得到总损失函数，并基于梯度下降法计算所述总损失函数的最终值，得到训练后的相似句生成模型。

一种基于UniLM与对比学习的相似句生成模型训练装置，所述装置包括：

第一损失模块，用于将样本句子输入到相似句生成模型中，其中，所述相似句生成模型包括句子编码层、包括一个掩码矩阵的多头自注意力结构，所述句子编码层用于对样本句子进行编码处理得到稠密向量，所述多头自注意力结构用于提取所述稠密向量中的关键信息，将所述关键信息与所述稠密向量组成正样本以计算对比损失函数；

第二损失模块，用于将所述稠密向量输入到UniLM模型中，得到输出句子，计算所述样本句子与所述输出句子之间的文本对齐损失函数；

总损失模块，用于将所述对比损失函数和所述文本对齐损失函数相加后，得到总损失函数，并基于梯度下降法计算所述总损失函数的最终值，得到训练后的相似句生成模型。