[发明专利]人工智能模型评测方法、装置、电子设备及存储介质

权利要求书

1.一种人工智能模型评测方法，其特征在于，包括：

根据当前业务场景的标识查询评测文件数据库，确定与当前业务场景对应的评测文件；其中，所述评测文件数据库中存储有与各业务场景对应的评测文件；所述评测文件用于作为各待评测人工智能模型的输入文件；

将所述评测文件输入至各待评测人工智能模型中，得到各待评测人工智能模型输出的第一模型输出数据结果；所述第一模型输出数据结果与各待评测人工智能模型对应的评测指标相对应；

根据当前业务场景的标识查询评测指标数据库，确定与当前业务场景对应的统一评测指标；其中，所述评测指标数据库中存储有与各业务场景对应的统一评测指标；

根据各待评测人工智能模型输出的第一模型输出数据结果、与各待评测人工智能模型对应的评测指标以及与当前业务场景对应的统一评测指标，将各待评测人工智能模型输出的第一模型输出数据结果映射为与所述统一评测指标对应的第二模型输出数据结果；

确定与所述评测文件对应的评测标注信息；

根据与各待评测人工智能模型对应的第二模型输出数据结果与所述评测标注信息的对比结果，确定各待评测人工智能模型的评测结果。

2.根据权利要求1所述的人工智能模型评测方法，其特征在于，还包括：建立所述评测指标数据库的步骤，具体包括：

确定每个业务场景下的评测指标规则，对每个业务场景下的业务指标进行抽象封装，确定与每个业务场景对应的统一评测指标。

3.根据权利要求1所述的人工智能模型评测方法，其特征在于，若与当前业务场景对应的评测文件有多个，则获取多个评测文件；

将多个评测文件输入至各待评测人工智能模型中，得到与每个待评测人工智能模型对应的多个第一模型输出数据结果；

将与每个待评测人工智能模型对应的多个第一模型输出数据结果分别映射为与所述统一评测指标对应的多个第二模型输出数据结果；

确定与每个评测文件对应的评测标注信息；

将与每个待评测人工智能模型对应的多个第二模型输出数据结果分别与相应的评测文件对应的评测标注信息进行比对，得到多个对比结果；

根据所述多个对比结果，确定相应待评测人工智能模型的评测结果。

4.根据权利要求3所述的人工智能模型评测方法，其特征在于，确定与每个评测文件对应的评测标注信息，包括：

对于每个评测文件，按照统一的标注规则，对评测文件中与统一评测指标对应的内容进行标注，确定与每个评测文件对应的评测标注信息。

5.根据权利要求1所述的人工智能模型评测方法，其特征在于，根据各待评测人工智能模型输出的第一模型输出数据结果、与各待评测人工智能模型对应的评测指标以及与当前业务场景对应的统一评测指标，将各待评测人工智能模型输出的第一模型输出数据结果映射为与所述统一评测指标对应的第二模型输出数据结果，包括下述方式中的一种或多种：

若与待评测人工智能模型对应的评测指标中存在有与所述统一评测指标相比多余的评测指标，则删除所述多余的评测指标，并将删除所述多余的评测指标后的第一模型输出数据结果自动映射为与所述统一评测指标对应的第二模型输出数据结果；

若与待评测人工智能模型对应的评测指标中缺乏所述统一评测指标中的一个或多个评测指标，则向相应的待评测人工智能模型所属厂商发出通知信息，以通知相应的待评测人工智能模型所属厂商增加所述一个或多个评测指标；其中，所述通知信息中携带有与当前业务场景对应的统一评测指标，以及，所缺乏的一个或多个评测指标；

若与待评测人工智能模型对应的评测指标中存在有与所述统一评测指标中的任一评测指标不匹配的评测指标，则调整与所述统一评测指标不匹配的评测指标，使得调整后的评测指标与所述统一评测指标中的对应评测指标匹配。