[发明专利]用于端到端任务型对话的语言模型预训练方法及系统

说明书

本发明实施例提供一种用于端到端任务型对话的语言模型预训练方法。该方法包括：获取第一数量的无标注的对话数据；对每一无标注的对话数据做信息遮罩处理和随后的信息恢复处理，以生成数据增强的第二数量的无标注的对话数据；基于第二数量的无标注的对话数据进行用于端到端任务型对话的语言模型预训练任务。本发明实施例还提供一种用于端到端任务型对话的语言模型预训练系统。本发明实施例提取大规模上下文文本的本体。为了弥合预训练和端到端TOD模型之间的差距，本方法设计了两个自适应自监督学习任务：结构化信息恢复任务和文本信息推测任务。提升了数据规模，使预训练后的端到端任务型对话的语言模型性能更优。

技术领域

本发明涉及智能语音领域，尤其涉及一种用于端到端任务型对话的语言模型预训练方法及系统。

背景技术

面向任务的对话系统旨在通过与自然语言交互来帮助用户完成特定任务，例如预订酒店或预订机票。随着工业对话系统的普及，面向任务的对话系统在研究中受到广泛关注。现有的面向任务的对话系统可以分为两类：管道格式和端到端格式。

其中，流水线式的TOD(task-oriented dialogue，面向任务对话)系统由四个模块组成：NLU(Natural Language Understanding，自然语言理解)、DST(Dialog StateTracking，对话状态跟踪)、DP(dialogue policy对话策略)和NLG(natural languagegeneration，自然语言生成)。该四个模块是流水线式工作的，不同的模块独立训练。

大规模开放域对话预训练模型：使用大规模的开放领域的对话数据采用自监督的方式训练基于Transformer的预训练语言模型。

端到端任务型对话模型：将任务型对话模型规范化为序列到序列的生成模型，在同一个模型中完成对话状态更新和对话生成。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

流水线形式的任务型对话系统：由于是流水线式工作的，上游模块中的错误会严重影响下游模块的性能，会造成严重的错误传递问题。其次，不同模块是独立训练的，每个模块都需要独立的标注数据，这使得构建对话系统的人力和财力成本会急剧上升。

大规模开放域对话预训练模型：开放领域的对话和任务型对话直接的根本目的存在差异，开放领域的对话注重于与当前对话逻辑的一致性，一般来说对话轮数越多说明系统性能比较好，而任务型对话是为了完成一类对话任务的，需要提供精确的信息，在完成用户任务的前提条件下对话轮数越少说明系统性能越好。

端到端任务型对话模型：相比较于现有的聊天型对话数据，任务型的对话数据的规模严重不足，端到端的任务型对话数据需要依赖于大规模这样的训练数据，这极大地限制了当前端到端任务型对话模型的性能。

发明内容

为了至少解决现有技术中在端到端任务模型中训练数据不足的问题。

第一方面，本发明实施例提供一种用于端到端任务型对话的语言模型预训练方法，包括：

获取第一数量的无标注的对话数据；

对每一无标注的对话数据做信息遮罩处理和随后的信息恢复处理，以生成数据增强的第二数量的无标注的对话数据；

基于所述第二数量的无标注的对话数据进行用于端到端任务型对话的语言模型预训练任务。

第二方面，本发明实施例提供一种用于端到端任务型对话的语言模型预训练系统，包括：

对话数据获取程序模块，用于获取第一数量的无标注的对话数据；

对话数据增强程序模块，用于对每一无标注的对话数据做信息遮罩处理和随后的信息恢复处理，以生成数据增强的第二数量的无标注的对话数据；