[发明专利]意图抽取模型验证方法、装置、计算机设备和存储介质

权利要求书

1.一种意图抽取模型验证方法，其特征在于，所述方法包括：

获取模型测试数据，所述模型测试数据包括基于预设槽位规则生成的第一回复数据以及基于所述第一回复数据、且携带预期意图标注结果的第二回复数据，所述预期意图标注结果基于预设数据等级划分原则确定；

调用待验证的意图抽取模型对所述模型测试数据进行意图抽取，得到意图抽取结果；

对所述意图抽取结果和所述预期意图标注结果进行分类计算，得到分类结果；

基于所述分类结果，生成模型验证报告。

2.根据权利要求1所述的方法，其特征在于，所述获取模型测试数据包括：

获取问题数据；

根据所述预设槽位规则，生成与所述问题数据对应的第一回复数据；

扩展所述第一回复数据、并根据所述预设数据等级划分原则对所述第一回复数据进行预期意图标注，得到第二回复数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述预设槽位规则，生成与所述问题数据对应的第一回复数据之前，还包括：

获取槽位数据；

扩展槽位数据的前缀规则、后缀规则、近义词规则以及同义词规则，得到所述预设槽位规则。

4.根据权利要求1所述的方法，其特征在于，所述对所述意图抽取结果和所述预期意图标注结果进行分类计算，得到分类结果包括：

对所述意图抽取结果和所述预设意图标注结果进行二分类计算，得到二分类结果。

5.根据权利要求1所述的方法，其特征在于，所述基于所述分类结果，生成模型验证报告包括：

根据标准召回率、精准率以及准确率计算逻辑对所述分类结果进行micro统计计算，得到统计结果，所述统计结果包括不同数据等级对应的标准召回率、精准率以及准确率；

基于所述不同数据等级对应的标准召回率、精准率以及准确率，生成模型验证报告。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述基于所述分类结果，生成模型验证报告之后，还包括：

当判断所述模型验证报告中的标准召回率、精准率以及准确率满足所述预期意图标注结果对应的要求时，线上运行意图抽取模型；

获取线上回复数据以及所述意图抽取模型的线上意图抽取结果；

分析所述线上回复数据以及所述线上意图抽取结果，得到模型线上分析报告。

7.根据权利要求6所述的方法，其特征在于，所述分析所述线上回复数据以及所述线上意图抽取结果，得到模型线上分析报告包括：

按照所述预设数据等级划分原则对所述线上回复数据进行预期意图标注，得到线上预期意图标注结果；

对所述线上意图抽取结果和所述线上预设意图标注结果进行二分类计算，得到线上二分类结果；

根据标准召回率、精准率以及准确率计算逻辑对所述线上二分类结果进行micro统计计算，得到线上统计结果；

根据所述线上统计结果，生成模型线上分析报告。

8.一种意图抽取模型验证装置，其特征在于，所述装置包括：

数据获取模块，用于获取模型测试数据，所述模型测试数据包括基于预设槽位规则生成的回复数据以及携带预期意图标注结果的回复数据，所述预期意图标注结果基于预设数据等级划分原则确定；

意图抽取模块，用于调用待验证的意图抽取模型对所述模型测试数据进行意图抽取，得到意图抽取结果；

分类计算模块，用于对所述意图抽取结果和所述预期意图标注结果进行分类计算，得到分类结果；

模型验证报告生成模块，用于基于所述分类结果，生成模型验证报告。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。