[发明专利]问答意图分类模型的测试方法、装置、设备及介质

说明书

本申请涉及人工智能技术领域，揭示了一种问答意图分类模型的测试方法、装置、设备及介质，其中方法包括：分别将每个产品标识对应的测试样本子集合输入对应的待测试的问答意图分类模型进行意图预测得到各个产品标识对应的意图预测结果集合；分别根据各个产品标识对应的意图预测结果集合、各个产品标识对应的测试样本子集合的测试问题问句意图标定数据和测试问题是否意图标定数据进行每个测试样本的意图预测准确判断得到各个产品标识对应的意图预测准确结果集合；根据各个产品标识对应的测试样本子集合和意图预测准确结果集合进行报告生成得到目标问答意图分类模型测试报告。从而避免人工计算耗时长且不准确的问题。

技术领域

本申请涉及到人工智能技术领域，特别是涉及到一种问答意图分类模型的测试方法、装置、设备及介质。

背景技术

分类模型的模型测试需要基于样本数据，样本数据的数量少时，部分测试人员会采取借用Excel等工具进行人工计算统计的方式，但当样本数据的数量多时，人工计算耗时长且不准确。而且模型在不断的迭代优化，导致需要计算的次数非常多，从而导致进一步增加计算的工作量。

发明内容

本申请的主要目的为提供一种问答意图分类模型的测试方法、装置、设备及介质，旨在解决现有技术的分类模型训练后通过Excel进行人工计算统计的方式进行模型测试，导致人工计算耗时长且不准确的技术问题。

为了实现上述发明目的，本申请提出一种问答意图分类模型的测试方法，所述方法包括：

获取测试样本集合，所述测试样本集合包括多个测试样本，所述测试样本包括：产品标识、测试问题样本数据、测试问题问句意图标定数据和测试问题是否意图标定数据；

采用所述产品标识对所述多个测试样本进行划分，得到各个所述产品标识各自对应的测试样本子集合；

分别将每个所述产品标识对应的测试样本子集合输入各自对应的待测试的问答意图分类模型进行意图预测，得到各个所述产品标识各自对应的意图预测结果集合；

分别根据各个所述产品标识各自对应的意图预测结果集合、各个所述产品标识各自对应的测试样本子集合的所述测试问题问句意图标定数据和所述测试问题是否意图标定数据进行每个所述测试样本的意图预测准确判断，得到各个所述产品标识各自对应的意图预测准确结果集合；

根据各个所述产品标识各自对应的测试样本子集合和意图预测准确结果集合进行报告生成，得到目标问答意图分类模型测试报告，所述目标问答意图分类模型测试报告包括：各个所述产品标识各自对应的各个意图值的准确率数据、召回率数据和正样本总数。

进一步的，所述分别将每个所述产品标识对应的测试样本子集合输入各自对应的待测试的问答意图分类模型进行意图预测，得到各个所述产品标识各自对应的意图预测结果集合的步骤，包括：

采用待预测的产品标识从各个所述产品标识各自对应的测试样本子集合中提取出测试样本子集合，得到目标测试样本子集合，所述待预测的产品标识是各个所述产品标识中的任一个；

根据所述待预测的产品标识从待测试模型库中查找，得到目标待测试的问答意图分类模型；

分别将所述目标测试样本子集合中每个所述测试样本输入所述目标待测试的问答意图分类模型进行意图预测，得到所述待预测的产品标识对应的所述意图预测结果集合；

重复所述采用待预测的产品标识从各个所述产品标识各自对应的测试样本子集合中提取出测试样本子集合，得到目标测试样本子集合的步骤，直至确定所有所述产品标识对应的所述意图预测结果集合。

进一步的，所述分别根据各个所述产品标识各自对应的意图预测结果集合、各个所述产品标识各自对应的测试样本子集合的所述测试问题问句意图标定数据和所述测试问题是否意图标定数据进行每个所述测试样本的意图预测准确判断，得到各个所述产品标识各自对应的意图预测准确结果集合的步骤，包括：