[发明专利]一种场景图构造模型的评估方法及评估设备

说明书

本申请公开了一种场景图构造模型的评估方法及评估设备，该方法包括：采用正交试验方式通过场景图构造模型分别对所述任一图像进行实体检测处理以及进行实体关系预测处理，确定所述任一图像对应的多个第一预测结果和多个第二预测结果；基于所述各个实体的真实边界框、所述多个第一预测结果，计算得到所述任一图像对应的多个MAP；采用预设规则对所述多个第二预测结果分别进行处理，得到所述任一图像对应的多个第一召回率；对所述任一图像对应的多个MAP、多个第一召回率进行综合评估处理，得到评估结果，可以确定场景图构造模型的各个结构和/或组合结构的影响程度，可以系统、正确、有效的评估场景图的构造效果，可以提高构造场景图的精准性。

技术领域

本申请涉及人工智能和视觉智能算法技术领域，尤指一种场景图构造模型的评估方法及评估设备。

背景技术

为视觉场景构造结构化的表示形式是视觉智能领域中一个较为突出的问题。场景图作为一个图结构，为真实世界的图像提供了语义的理解和总结。由于视觉场景存在多交互的实体对象，且场景的前景和背景都对图像的语义理解起重要作用。因此，合理且准确地描述场景是后续视觉推理的核心条件，进而衡量场景图构造效果成为后续推理应用的一个重要前提，比如视觉场景中对象位置的准确率，对象类别的准确率，对象关系的准确率等。

然而，目前还未有相对系统的、正确的、有效的评估场景图构造效果的方法。因此，如何提供一种相对系统的、正确的、有效的评估场景图的构造效果的方法成为目前亟需解决的问题。

发明内容

本申请实施例提供一种场景图构造模型的评估方法及评估设备，用以解决现有技术中存在还未有相对系统的、正确的、有效的评估场景图构造效果的方法的问题。

第一方面，本申请实施例提供一种场景图构造模型的评估方法，包括：

获取多个图像中的任一图像包含的各个实体的真实边界框，所述实体为所述任一图像中包含的人或物品，所述多个图像对应多个场景；

采用正交试验方式通过场景图构造模型分别对所述任一图像进行实体检测处理，以确定所述任一图像对应的多个第一预测结果，所述第一预测结果包括所述各个实体的预测边界框；

基于所述各个实体的真实边界框、所述多个第一预测结果，计算得到所述任一图像对应的多个平均精度均值MAP，所述MAP用于表征所述场景构造模型预测所述各个实体的类别的准确程度；

采用所述正交试验方式通过所述场景图构造模型对所述各个实体进行实体关系预测处理，以获得所述任一图像对应的多个第二预测结果，并采用预设规则对所述多个第二预测结果分别进行处理，得到所述任一图像对应的多个第一召回率；所述第二预测结果包括所述任一图像对应的类别数召回率、各个实体之间的关系数召回率、三元组件的组件数召回率，所述三元组件为由所述各个实体构成的客体、主体以及所述客体与所述主体之间的关系组成的；

对所述任一图像对应的多个MAP、多个第一召回率进行综合评估处理，得到评估结果，所述评估结果用于确定所述场景图构造模型中的各个结构和/或组合结构对构造场景图的影响程度。

在一种可能的设计中，对所述任一图像对应的多个MAP、多个第一召回率进行综合评估处理，得到评估结果，包括：

分别将所述任一图像对应的多个MAP、多个第一召回率一一对应的输入归一化模型中，得到所述任一图像对应的多个评估指标，所述评估指标用于表征所述场景图构造模型构造所述任一图像的准确程度；

分别将所述任一图像对应的多个评估指标输入几何平均模型中，得到所述场景图构造模型的多个综合指标，所述综合指标用于表征所述场景图构造模型构造所述任一图像的综合准确程度；

对所述多个综合指标进行综合评估处理，得到所述评估结果。

在一种可能的设计中，对所述多个综合指标进行评估处理，得到所述评估结果，包括：