[发明专利]问答意图分类模型的测试方法、装置、设备及介质

权利要求书

1.一种问答意图分类模型的测试方法，其特征在于，所述方法包括：

获取测试样本集合，所述测试样本集合包括多个测试样本，所述测试样本包括：产品标识、测试问题样本数据、测试问题问句意图标定数据和测试问题是否意图标定数据，所述测试问题样本数据是指用户提出的问题的文本数据，所述测试问题问句意图标定数据是指测试问题样本数据对应的问句意图的标定数据，所述测试问题是否意图标定数据是指测试问题样本数据对应的是否意图的标定数据，所述是否意图包括两个意图值，两个所述意图值为是和否；

采用所述产品标识对所述多个测试样本进行划分，得到各个所述产品标识各自对应的测试样本子集合；

分别将每个所述产品标识对应的测试样本子集合输入各自对应的待测试的问答意图分类模型进行意图预测，得到各个所述产品标识各自对应的意图预测结果集合；

分别根据各个所述产品标识各自对应的意图预测结果集合、各个所述产品标识各自对应的测试样本子集合的所述测试问题问句意图标定数据和所述测试问题是否意图标定数据进行每个所述测试样本的意图预测准确判断，得到各个所述产品标识各自对应的意图预测准确结果集合；

根据各个所述产品标识各自对应的测试样本子集合和意图预测准确结果集合进行报告生成，得到目标问答意图分类模型测试报告，所述目标问答意图分类模型测试报告包括：各个所述产品标识各自对应的各个意图值的准确率数据、召回率数据和正样本总数。

2.根据权利要求1所述的问答意图分类模型的测试方法，其特征在于，所述分别将每个所述产品标识对应的测试样本子集合输入各自对应的待测试的问答意图分类模型进行意图预测，得到各个所述产品标识各自对应的意图预测结果集合的步骤，包括：

采用待预测的产品标识从各个所述产品标识各自对应的测试样本子集合中提取出测试样本子集合，得到目标测试样本子集合，所述待预测的产品标识是各个所述产品标识中的任一个；

根据所述待预测的产品标识从待测试模型库中查找，得到目标待测试的问答意图分类模型；

分别将所述目标测试样本子集合中每个所述测试样本输入所述目标待测试的问答意图分类模型进行意图预测，得到所述待预测的产品标识对应的所述意图预测结果集合；

重复所述采用待预测的产品标识从各个所述产品标识各自对应的测试样本子集合中提取出测试样本子集合，得到目标测试样本子集合的步骤，直至确定所有所述产品标识对应的所述意图预测结果集合。

3.根据权利要求1所述的问答意图分类模型的测试方法，其特征在于，所述分别根据各个所述产品标识各自对应的意图预测结果集合、各个所述产品标识各自对应的测试样本子集合的所述测试问题问句意图标定数据和所述测试问题是否意图标定数据进行每个所述测试样本的意图预测准确判断，得到各个所述产品标识各自对应的意图预测准确结果集合的步骤，包括：

分别对所述测试样本集合中每个所述测试样本的测试问题问句意图标定数据和测试问题是否意图标定数据按意图优先级进行处理，得到意图优先级处理后的测试样本集合；

分别从每个所述产品标识对应的所述意图预测结果集合中依次提取出意图预测结果，得到目标意图预测结果；

当所述目标意图预测结果为是否意图时，根据所述目标意图预测结果从所述意图优先级处理后的测试样本集合中提取所述测试问题是否意图标定数据，得到待判断的测试问题是否意图标定数据，当所述目标意图预测结果和所述待判断的测试问题是否意图标定数据相同时，确定所述目标意图预测结果对应的所述意图预测准确结果为正确，否则确定所述目标意图预测结果对应的所述意图预测准确结果为错误；

当所述目标意图预测结果为问句意图时，根据所述目标意图预测结果从所述意图优先级处理后的测试样本集合提取所述测试问题问句意图标定数据，得到待判断的测试问题问句意图标定数据，当所述目标意图预测结果和所述待判断的测试问题问句意图标定数据相同时，确定所述目标意图预测结果对应的所述意图预测准确结果为正确，否则确定所述目标意图预测结果对应的所述意图预测准确结果为错误；

重复执行所述分别从每个所述产品标识对应的所述意图预测结果集合中依次提取出意图预测结果，得到目标意图预测结果的步骤，直至确定所有所述意图预测结果的所述意图预测准确结果；

根据所有所述意图预测准确结果，确定各个所述产品标识各自对应的意图预测准确结果集合。