[发明专利]文本生成方法、装置、电子设备和计算机可读介质

说明书

本公开的实施例公开了文本生成方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取源文本；将源文本输入变分自编码器，得到目标文本，其中，变分自编码器以混合指数分布作为先验，变分自编码器在训练过程中所使用的损失函数包括分散项，分散项用于调整混合组分的分散趋势，混合组分是混合指数分布对应的多个指数分布。该实施方式实现了减轻模式塌缩、增强可解释性，并且对于目标文本的质量的提升有显著的效果。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及文本生成方法、装置、电子设备和计算机可读介质。

背景技术

变分自编码器(VAE，Variational auto-encoder)由于其自身特性被广泛应用于文本生成、图像生成等等领域。但是，变分训练中往往存在模式塌缩的问题。举例来说，在语言生成任务中，多个高斯先验在训练中趋于崩溃，最终反生成为一个高斯先验。如图1所示，预约“remind me about my meeting.”和询问天气“will it be humid in**today？”被映射到同一个模式。此外，在图像建模任务中也观察到模式塌缩的问题。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了文本生成方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。

第一方面，本公开的一些实施例提供了一种文本生成方法，包括获取源文本；将源文本输入变分自编码器，得到目标文本，其中，变分自编码器以混合指数分布作为先验，变分自编码器在训练过程中所使用的损失函数包括分散项，分散项用于调整混合组分的分散趋势，混合组分是混合指数分布对应的多个指数分布。

第二方面，本公开的一些实施例提供了一种文本生成装置，包括：获取单元，被配置成获取源文本；生成单元，被配置成将源文本输入变分自编码器，得到目标文本，其中，变分自编码器以混合指数分布作为先验，变分自编码器在训练过程中所使用的损失函数包括分散项，分散项用于调整混合组分的分散趋势，混合组分是混合指数分布对应的多个指数分布。

第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任一的方法。

第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述任一的方法。

本公开的上述各个实施例中的一个实施例具有如下有益效果：通过将源文本输入变分自编码器，得到目标文本。其中，由于变分自编码器在训练过程中所使用的损失函数包括分散项，从而减轻了模式塌缩，并诱导出一个结构化的隐空间。由于结构化的隐空间兼具了离散和连续隐空间的优点，从而在保证模型容量的同时，增强了可解释性。作为示例，在会话生成的场景下，隐变量可以模拟动作或者意图。此外，对于目标文本的质量的提升有显著的效果。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1是变分训练中不同类型的语句被映射到同一个模式的可视化效果图；

图2是根据本公开的一些实施例的文本生成方法的一个应用场景的示意图；

图3是根据本公开的文本生成方法的一些实施例的流程图；

图4是根据本公开的文本生成方法的另一些实施例的流程图；