[发明专利]一种基于詹森-香农散度的对话状态追踪方法

说明书

本发明公开了一种基于詹森‑香农散度的对话状态追踪方法，包括如下步骤：S1、收集不同领域的任务型对话数据集；S2、构建对话状态追踪模型；S3、通过编码模块对任务型对话数据集中的历史和当前对话、当前状态和槽位信息进行语义编码的语义信息；S4、将编码后的语义信息输入至对话状态决策模块以生成目标概率分布；S5、使用JS散度作为指标来衡量样本是否属于噪声样本；S6、对于非噪声样本，保留其原有的标签，对于噪声样本，根据S4中得到的目标概率分布，选择概率值最大的目标，作为新的标签，并使用新的标签进行训练；S7、训练过程中动态调整噪声样本判断阈值以适配不断增强的对话状态追踪模型，直至对话状态追踪模型拟合。该方法有效解决现实噪声环境中训练DST模型会难以拟合下游任务数据的难题。

技术领域

本发明涉及人工智能自然语言处理技术领域，尤其是涉及对话状态追踪领域，具体指一种基于詹森-香农散度的对话状态追踪方法。

背景技术

随着人工智能相关技术的快速发展，给人们生活带来了诸多便利。人机对话系统是人与机器进行沟通的一种新型交互方式，受到学术界和工业界的广泛关注和研究，其目标是要能够最大限度地模仿人类之间的对话方式，能够更加自然地实现人机交互，以实现日常交流或完成某种特定场景下的特定任务。近年来，人机对话系统得到了长足的发展和进步，同时逐渐成为各个企业的核心竞争力。对话状态追踪是对话系统中一个非常重要的模块。它的目标是监控隐藏在对话历史中的用户目标和请求，并将它们表示为由一系列(领域，槽位，槽值)三元组组成的对话状态，为对话决策提供决策依据，其更新正确与否影响整个对话系统的性能。因此，为实现高质量的人机对话系统，对话状态追踪的研究具有重要意义。

目前最新的DST模型大多都是基于预训练编码器的深度神经网络模型，在针对特定任务进行优化时需要有大量的数据进行训练，但是受限于现实中对话的复杂性以及语料标注的难度，这类数据集往往都存在大量噪声。例如，DST模型研究当中最为广泛使用的是MultiWOZ数据集。根据相关论文统计，MultiWOZ2.0数据集中有大约40％的标注错误；而在此基础上更新的MultiWOZ2.1数据集也有超过30％的错误。错误的标注，即数据集当中存在的噪声，噪声问题对于DST模型的训练和优化产生了很大的影响。

发明内容

本发明提出了一种基于詹森-香农散度的对话状态追踪方法，其基于詹森-香农散度，用于在噪声环境下训练对话状态追踪模型，该方法能有效解决在现实噪声环境中训练DST模型会难以拟合下游任务数据的难题，以进一步优化DST模型性能，为后续的工程应用提供新的思路。

为了解决上述技术问题，本发明的技术方案为：

一种基于詹森-香农散度的对话状态追踪方法，包括如下步骤：

S1、收集不同领域的任务型对话数据集，所述任务型对话数据集包括历史和当前对话、历史和当前状态、槽位信息，以及对应的原始标签；

S2、构建对话状态追踪模型，所述对话状态追踪模型包括编码模块和对话状态决策模块；

S3、通过编码模块对任务型对话数据集中的历史和当前对话、当前状态和槽位信息进行语义编码的语义信息；

S4、将编码后的语义信息输入至对话状态决策模块以生成目标概率分布；

S5、使用JS散度(詹森-香农散度)作为指标来衡量样本是否属于噪声样本；

S6、对于非噪声样本，保留其原有的标签，对于噪声样本，根据S4中得到的目标概率分布，选择概率值最大的目标，作为新的标签，并使用新的标签进行训练；

S7、训练过程中动态调整噪声样本判断阈值以适配不断增强的对话状态追踪模型，直至对话状态追踪模型拟合。

作为优选，所述步骤S2中，所述编码模块采用基于预训练语言模型的编码器。

作为优选，所述预训练语言模型为预训练的Bert模型。