[发明专利]对话状态跟踪器的训练方法及系统

说明书

本发明实施例提供一种对话状态跟踪器的训练方法。该方法包括：通过已标注对话集(L)预训练对话状态跟踪器，以确定未标注对话集(U)中各未标注对话的预测概率和对话轮数；来确定各未标注对话的时间代价参数和/或稳定性参数和/或多元化参数；根据所述参数，确定对应各未标注对话的优先权；按照优先权从未标注对话集(U)中选取部分的未标注对话进行标注，添加至已标注对话集(L)；通过添加后的已标注对话集(L)训练对话状态跟踪器。本发明实施例还提供一种对话状态跟踪器的训练系统。本发明实施例的对话状态跟踪器的训练方法根据考虑不同的未标注对话具有不同的时间代价，增加了待标注对话的选择方式而提升对话状态跟踪器的训练效果。

技术领域

本发明涉及智能语音对话领域，尤其涉及一种对话状态跟踪器的训练方法及系统。

背景技术

DST(Dialogue state tracking，对话状态跟踪)是语音对话系统的重要组成部分，它根据语音对话的历史记录向系统内部跟踪对话状态。对于跟踪的每一对话回合，对话状态跟踪器会输出对话状态的分布，从而语音对话系统需要根据对话状态，采取适当的对话行为与用户互动。

为了提高跟踪器的性能，通常使用数据驱动的方法。虽然数据驱动的方法为跟踪器的性能取得了很好的效果，但是由于数据驱动需要标注大量的标注对话，并且需要进行充分的注释，而标注这些对话的成本很高。对于标注单个对话更是困难的，因为对于每轮对话的转换，需要有相应的专家来标注所有的语义槽，并且为了准确性，这通常需要关注整轮对话的上下文对话来标注单个对话，使得成本偏高。

为了解决这种问题，通常使用主动学习的方法进行对话标注，来省去专家用于标注对话的时间，降低标注的成本。AL(Active Learning，主动学习)可用于选择有价值的样本进行标注。使用AL方法，与传统的方法相比，在训练模型时需要更少的标注样本，以达到相同甚至更好的性能。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

现有方法没有考虑到对于标注对话而产生的代价问题，对于标注不同的对话，会具有不同的代价，另外标注对话的方式过于单一，导致最终通过主动学习标注对话来训练的对话状态跟踪器的效果不佳。

发明内容

为了至少解决现有技术中的主动学习在标注对话时没有考虑到对于标注对话而产生的代价问题，同时标注对话的选择方式过于单一，导致最终通过主动学习标注对话来训练的对话状态跟踪器的效果不佳的问题。申请人意外的发现，通过引入代价敏感进行主动学习，并在标注对话的选择方式中引入更全面的方法，来解决上述问题。

第一方面，本发明实施例提供一种对话状态跟踪器的训练方法，包括：

1、一种对话状态跟踪器的训练方法，包括：

通过已标注对话集(L)预训练对话状态跟踪器，以确定未标注对话集(U)中各未标注对话的预测概率和对话轮数；

根据各未标注对话的对话轮数，确定各未标注对话的时间代价参数；和/或

根据各未标注对话的预测概率和对话轮数，确定各未标注对话的熵作为稳定性参数；和/或

提取所述已标注对话集(L)中各已标注对话的第一特征向量集合(V_L)，并对所述第一特征向量集合(V_L)均值聚类以确定至少一个聚点，提取所述未标注对话集中各未标注对话的第二特征向量集合(V_U)，并根据所述第二特征向量集合(V_U)中各特征向量与所述至少一个聚点的最大距离，确定各未标注对话的多元化参数；

根据所确定的所述多元化参数和/或所述稳定性参数和/或所述时间代价参数，确定对应于各未标注对话的优先权；

按照优先权从高到低从所述未标注对话集(U)中选取部分数量的未标注对话进行标注，添加至所述已标注对话集(L)；