[发明专利]意图抽取模型验证方法、装置、计算机设备和存储介质

说明书

本申请涉及人工智能技术领域，提供一种意图抽取模型验证方法、装置、计算机设备和存储介质。所述方法包括：获取模型测试数据，模型测试数据包括基于预设槽位规则生成的第一回复数据以及基于第一回复数据生成、且携带预期意图标注结果的第二回复数据，预期意图标注结果基于预设数据等级划分原则确定，调用待验证的意图抽取模型对模型测试数据进行意图抽取，得到意图抽取结果，对意图抽取结果和预期意图标注结果进行分类计算，得到分类结果，基于分类结果，生成模型验证报告。采用本方法能够提高验证意图抽取模型抽取出的意图的效率。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种意图抽取模型验证方法、装置、计算机设备和存储介质。

背景技术

随着人工智能技术的快速发展，金融、娱乐、交通、医疗等传统行业与人工智能的融合也得到了快速发展。近几年，医疗软件与移动终端设备的密切结合，为病人提供就医便捷，出现了智能问诊的方案和系统。

智能问诊即指患者可在线上针对线上医生(客服机器人)提出的问题进行回复，根据患者回复数据进行智能意图抽取，经过多轮对话后，得到患者与某些疾病症状的相关情况，进而实现智能诊断。这整个过程中，提取患者回复数据中的患者意图的准确性就显得十分关键，因此需要对提取出的患者意图的准确性进行验证。

目前，验证患者意图抽取的准确性的做法是获取线上医生问题对应的患者回复数据，人工标注预期意图，使用意图抽取模型抽取患者意图，进而验证模型抽取出的患者意图是否准确。但是，上述方案需要人工标注分离数据耗费大量人力成本，且线上拉取的患者回复数据经过人工检查，存在很多患者回复错乱、答非所问、或者算法抽取难度较大的情况，使得模型抽取患者意图的效率和准确性大打折扣，进而影响验证模型抽取出的患者意图的效率。

发明内容

基于此，有必要针对上述技术问题，提供一种高效的意图抽取模型验证方法、装置、计算机设备和存储介质。

一种意图抽取模型验证方法，方法包括：

获取模型测试数据，模型测试数据包括基于预设槽位规则生成的第一回复数据以及基于第一回复数据生成、且携带预期意图标注结果的第二回复数据，预期意图标注结果基于预设数据等级划分原则确定；

调用待验证的意图抽取模型对模型测试数据进行意图抽取，得到意图抽取结果；

对意图抽取结果和预期意图标注结果进行分类计算，得到分类结果；

基于分类结果，生成模型验证报告。

在其中一个实施例中，获取模型测试数据包括：

获取问题数据；

根据预设槽位规则，生成与问题数据对应的第一回复数据；

扩展第一回复数据、并根据预设数据等级划分原则对第一回复数据进行预期意图标注，得到第二回复数据。

在其中一个实施例中，根据预设槽位规则，生成与问题数据对应的第一回复数据之前，还包括：

获取槽位数据；

扩展槽位数据的前缀规则、后缀规则、近义词规则以及同义词规则，得到预设槽位规则。

在其中一个实施例中，对意图抽取结果和预期意图标注结果进行分类计算，得到分类结果包括：

对意图抽取结果和预设意图标注结果进行二分类计算，得到二分类结果。

在其中一个实施例中，基于分类结果，生成模型验证报告包括：

根据标准召回率、精准率以及准确率计算逻辑对分类结果进行micro统计计算，得到统计结果，统计结果包括不同数据等级对应的标准召回率、精准率以及准确率；