[发明专利]基于意图识别的阈值选取方法、设备、存储介质及装置

说明书

本发明公开了一种基于意图识别的阈值选取方法、设备、存储介质及装置，该方法通过预设意图识别模型对测试语料集进行意图识别，获得测试语料集中各测试语料的测试意图，获取各测试语料的真实意图，计算测试意图与真实意图之间的相似度，获得各测试语料的测试意图相似度，获取多个待选阈值，统计测试意图中各待选阈值对应的正确结果数量及错误结果数量，根据正确结果数量及错误结果数量，计算各待选阈值对应的相对熵，根据相对熵按照预设规则选取目标阈值，基于人工智能，使用相对熵的形式计算出正确结果分布以及错误结果分布之间的差异，根据分布差异选取目标阈值，以保留更多的正确结果，过滤掉更多的错误结果，从而提高意图识别的准确性。

技术领域

本发明涉及人工智能的技术领域，尤其涉及一种基于意图识别的阈值选取方法、设备、存储介质及装置。

背景技术

现行的智能交互系统中判断一句话是否为某一个意图，一般使用关键词和规则引擎，但这样做存一个弊端，不具被泛化的能力，一旦某一句话中同时含有若干个关键词，将会出现意图的误判。另一种方法是采用机器学习训练语料来生成一个分类器，使用该分类器判别意图具有一定的泛化能力，但其中需要预先设定的一个阈值进行判定，并且不低于该阈值，则采用分类器的输出；若低于阈值，则需要设定一个默认的业务逻辑。目前，阈值的设定通常根据经验值进行设置，然而阈值的设定能够影响意图识别的准确性，因此，如何设置合理的阈值，以提高意图识别的准确性是亟待解决的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于意图识别的阈值选取方法、设备、存储介质及装置，旨在解决现有技术中基于意图识别的阈值选取不准确，导致意图识别的准确性低的技术问题。

为实现上述目的，本发明提供一种基于意图识别的阈值选取方法，所述基于意图识别的阈值选取方法包括以下步骤：

通过预设意图识别模型对测试语料集进行意图识别，获得所述测试语料集中各测试语料的测试意图；

获取各所述测试语料的真实意图，计算所述测试意图与所述真实意图之间的相似度，获得各所述测试语料的测试意图相似度；

获取多个待选阈值，根据各待选阈值及所述测试意图相似度统计所述测试意图中各所述待选阈值对应的正确结果数量及错误结果数量；

根据所述正确结果数量及所述错误结果数量，计算各所述待选阈值对应的相对熵；

根据所述相对熵按照预设规则从各所述待选阈值中选取目标阈值。

优选地，所述根据所述相对熵按照预设规则从各所述待选阈值中选取目标阈值，包括：

对各所述待选阈值按照从大到小进行排序，计算相邻的所述待选阈值对应的所述相对熵之间的差值；

获取所述差值中的最大值，将所述最大值对应的两个相对熵作为目标相对熵，选取所述目标相对熵中较大者对应的待选阈值作为目标阈值。

优选地，所述通过预设意图识别模型对测试语料集进行意图识别，获得所述测试语料集中各测试语料的测试意图之前，所述基于意图识别的阈值选取方法还包括：

获取训练语料及对应的训练意图；

根据所述训练语料及对应的所述训练意图对神经网络模型进行训练，获得预设意图识别模型。

优选地，所述根据所述相对熵按照预设规则从各所述待选阈值中选取目标阈值之后，所述基于意图识别的阈值选取方法还包括：

根据所述目标阈值及所述测试意图相似度筛选所述测试意图中的错误结果，获取所述错误结果对应的测试语料作为目标语料；