[发明专利]一种基于生成式对抗网络的开放式问题自动生成方法

摘要

本发明公布了一种基于生成式对抗网络的开放式问题自动生成方法，建立问题自动生成模型包括生成器和鉴别器，通过构建开放式问题自动生成数据集，采用增强学习的模型对抗训练方法，实现问题自动生成。本发明方法能够解决开放式问题生成中答案发散且差异较大，难以使用最大似然法高效拟合的问题，提升问题自动生成的效果。

主权项

1.一种基于生成式对抗网络的开放式问题自动生成方法，问题自动生成模型包括生成器和鉴别器，通过构建开放式问题自动生成数据集，采用增强学习的模型对抗训练方法，实现开放式问题的自动生成；包括如下步骤：1)构建开放式问题自动生成数据集；数据集采用XML格式；每一条数据由标签表示，包含新闻子标签和问题子标签；新闻和问题均为汉语文本；2)构建包括生成器和鉴别器的问题自动生成模型；包括如下步骤：21)构建生成器，包括编码器和解码器，用于根据原始语料生成开放式问题；编码器通过编码步骤将新闻编码为一个向量；解码器通过解码步骤将此向量解码为问题；生成器构建采用序列到序列模型架构；生成器的编码器和解码器均采用长短期记忆网络；编码器的输入和解码器的输出均为一个文本序列；22)构建鉴别器，用于判断问题的来源；包括语言特性评估模块和契合程度评估模块；语言特性评估模块和契合程度评估模块分别是一个二分类器；语言特性评估模块用于评估生成问题的语言特性，即评估一个问题是否符合人类提问的语言风格，语言特性评估模块的输出为输入语句是真实数据的概率值p1；契合程度评估模块用于评估生成问题与背景语料的契合程度，同时接收背景语料和问题，并判断二者是否契合；契合程度评估模块的输出为新闻和问题契合的概率值p2；鉴别器的最终输出是语言特性评估模块和契合程度评估模块输出的加权和：λp1+(1‑λ)p2，表示生成问题的优劣程度；3)利用步骤1)开放式问题自动生成数据集中的数据，采用增强学习的对抗训练方法训练步骤2)建立的问题自动生成模型，得到生成器与鉴别器中的未知的参数；训练过程分为预训练阶段和对抗训练阶段；31)预训练阶段仅涉及模型的生成器部分；采用强迫学习策略得到生成器的输出；包括：解码器中除了第一个解码单元输入为外，剩余每个解码单元的输入并非来自于前一个单元，而是直接来源于正确的答案，即数据集中与输入新闻对应的问题；解码单元的个数须与正确答案的单词数目相同；不以输出作为解码终止条件；每一个解码单元进行计算得到一个概率分布；该概率分布并不用于挑选单词，而直接将标准答案中的对应单词作为下一个单元的输入；使用最大似然法，通过计算交叉熵，使用梯度下降法最小化最终的交叉熵，即可更新生成器的参数，使得通过概率分布挑选的单词与下一个单元的输入尽量一致，从而使得模型能够尽量拟合数据集；32)预训练阶段完成后，对模型进行对抗训练；包括：对抗训练过程中，鉴别器和生成器的训练交互进行；对生成器和鉴别器进行监测，生成器和鉴别器达到纳什均衡，即停止训练；在训练鉴别器的时候，生成器部分被固定，不进行任何更新；鉴别器的两个模块分别采用交叉熵作为损失函数；通过梯度下降法分别最小化两个模块的损失函数，更新鉴别器参数，获得更好的分类；通过对生成器进行对抗训练提升鉴别器对生成器的生成结果的打分；在训练生成器时，鉴别器被固定，不进行任何更新；采用增强学习方法，将生成器当前已经生成的文本作为状态，在某个状态下可采取的动作是生成某个特定的词，动作个数与词表大小相同；在状态下采取特定的动作会导致状态的迁移；采取的动作被称作“策略”；在每一个状态下采取动作即获取一个反馈；通过多次采样获得多个反馈，得到当前状态下的反馈；4)对抗学习阶段结束后，利用训练好参数的生成器，输入新闻，输出问题；通过上述步骤，实现基于生成式对抗网络的问题自动生成；训练好的鉴别器可应用于问题分类任务。