[发明专利]一种基于条件变分自编码器的问题扩展方法

说明书

本发明公开了一种基于条件变分自编码器的问题扩展方法，包括以下步骤：CVAE的编码端使用了BERT获取均值μ和方差σ²；使用得到的均值μ和方差σ²构造掩码z；CVAE的解码端使用了Transformer，用Transformer的解码器来进行预测输出，将标准问题传入Transformer编码器获得输出；将一个扩展问题嵌入表示与掩码z合并，传入Transformer的解码器，进行自注意力计算，然后与Transformer编码器的输出做普通注意力计算；对Transformer解码器生成的问题句子进行扩展，生成任意数量的k个问题句子。本发明可以针对原标准问题进行复述或扩展。

技术领域

本发明涉及计算机领域中的自然语言处理技术，特别是一种基于条件变分自编码器的问题扩展方法。

背景技术

对于自然语言处理中的生成任务，如智能问题回答，神经机器翻译，句子复述等任务，通常面临训练样本少以及生成的多样性较差的问题。问题在智能问题回答中占有重要地位，因为在开放式的智能问答系统中，问题的分析和复述扩展是关键的第一步，通常在这一步中，为了提高召回率，给定的标准问题会扩展其各种释义来重组。但是扩展的问题效果并不好。通常作为训练样本的问题一般会数量很少，如果采用传统的人工方式进行问题扩展，效率低下、强度大、周期长，显然不能满足问题扩展的需求。因此，需要研究问题扩展技术，通过已有的标准问题，对其进行扩展，生成多个相似的扩展问题，从而可以进行数据增强，增加训练样本的数量，对之后模型的训练与效果的提升打下坚实的基础。

问题扩展是自然语言处理中的一个关键问题，传统的解决方法是：

采用端到端模型即Seq2seq进行生成，如采用变分自编码器(VAE)来实现。

采用集束搜索(Beam Search)来增加多样性。

传统的变分自编码器(VAE)模型是一种深层生成的潜变量模型，允许学习高维输入的非线性表示，通过学习输入x的潜在表示或隐码z来实现，使得可以从隐码z中很好的重构原始输入x。VAE的编码器通过确定性编码函数来学习隐码z，它实际上是隐码z上的一个后验分布，后验分布通常被认为是高斯分布，VAE鼓励后验分布接近先验分布，这可视为标准正态分布，正态分布的两组参数是均值μ和方差σ^2。VAE的解码器将隐码z作为输入并产生一个观测值x。但是实际效果不够理想。

具体而言，造成问题扩展效果不理想的主要原因有：

传统的变分自编码器(VAE)与LSTM相结合可以生成自由的文本，但是对于给定问题的扩展并不适用。

只使用集束搜索Beam Search虽然能产生多个句子，增加一定的多样性，但是BeamSearch生成的句子有很大的相似度，不能满足问题扩展的需求。

本发明针对的技术问题是：生成任务中问题扩展的多样性，即用变分自编码器VAE，不能实现特定问题的扩展或复述；使用Beam Search无法满足问题扩展的需求。

发明内容

针对现有技术中存在的问题，本发明提供了一种可以针对原标准问题进行复述或扩展的基于条件变分自编码器的问题扩展方法。

本发明的目的通过以下技术方案实现。

一种基于条件变分自编码器(CVAE)的问题扩展方法，包括以下步骤：

步骤1)：CVAE的编码端使用了BERT获取均值μ和方差σ²；

步骤2)：使用得到的均值μ和方差σ²构造掩码z；

步骤3)：CVAE的解码端使用了Transformer，用Transformer的解码器来进行预测输出，将标准问题传入Transformer编码器获得输出；