[发明专利]一种基于条件变分自编码器的问题扩展方法

权利要求书

1.一种基于条件变分自编码器的问题扩展方法，其特征在于：包括以下步骤：

步骤1)：CVAE的编码端使用了BERT获取均值μ和方差σ²；

步骤2)：使用得到的均值μ和方差σ²构造掩码z；

步骤3)：CVAE的解码端使用了Transformer，用Transformer的解码器来进行预测输出，将标准问题传入Transformer编码器获得输出；

步骤4)：将一个扩展问题的嵌入表示与掩码z合并，传入Transformer的解码器，进行自注意力计算，然后与Transformer编码器的输出做普通注意力计算；

步骤5)：对Transformer解码器生成的问题句子进行扩展，生成任意数量的k个问题句子。

2.根据权利要求1所述的一种基于条件变分自编码器的问题扩展方法，其特征在于：所述的步骤1)实现的具体步骤包括：

步骤11)输入为一个标准问题与该问题的一个扩展问，通过嵌入查找来获得输入的词嵌入表示，位置嵌入表示，以及句子嵌入表示；

步骤12)将获得的所有嵌入表示一起输入BERT，即通过12层编码器，在每一层编码器都采用了自注意力机制来学习信息，然后通过一个全连接层将之前学习到的信息处理后传递给下一层编码器；BERT会在句子前加一个[CLS]标志，最后一层的[CLS]作为整个序列或整句话的语义信息；[CLS]的信息经线性变换后得到均值μ和方差σ²。

3.根据权利要求1所述的一种基于条件变分自编码器的问题扩展方法，其特征在于：所述的步骤2)实现的具体步骤包括：

步骤21)由步骤1)获得了均值μ和方差σ²，从N(μ，σ²)中采样一个z，相当于从N(0，1)中随机采样一个β，然后使用重参数技巧让z＝μ+β*σ，这样就得到掩码z；

步骤22)掩码z与Transformer的解码器输入相合并，合并后的信息作为输入一起传到Transformer的解码器。

4.根据权利要求1所述的一种基于条件变分自编码器的问题扩展方法，其特征在于：所述的步骤3)实现的具体步骤包括：

步骤31)Transformer编码器的输入是一个标准问题，通过嵌入查找获得其词嵌入表示，然后添加位置信息再传入编码器；

步骤32)经过自注意力机制，然后用残差网络和层正则处理后获得多头注意力的输出；

步骤33)经过全连接层，获得编码器的输出；

步骤34)Transformer解码器的输入是一个扩展问题，通过嵌入查找获得其词嵌入表示，然后添加位置信息，得到扩展问题的嵌入表示信息。

5.根据权利要求1所述的一种基于条件变分自编码器的问题扩展方法，其特征在于：所述的步骤4)实现的具体步骤包括：

步骤41)将上一步获得的扩展问题的嵌入表示信息与模块B获得的掩码z相合并，合并后的信息传入Transformer的解码器；

步骤42)经过自注意力机制，然后用残差网络和层正则处理后获得多头注意力的输出；

步骤43)经过普通注意力机制，然后用残差网络和层正则处理后获得普通注意力的输出；

步骤44)经过全连接层，获得Transformer解码器的输出。

6.根据权利要求1所述的一种基于条件变分自编码器的问题扩展方法，其特征在于：所述的步骤5)实现的具体步骤包括：

步骤51)在Transformer解码器预测第一个的输出时进行TopK处理，获得概率最大的k个字；

步骤52)分别将k个字作为预测句子的起始单词，然后依次经过Transformer的解码器进行预测输出后面的字，最终得到k个扩展问题句子。