[发明专利]一种场景图构造模型的评估方法及评估设备

权利要求书

1.一种场景图构造模型的评估方法，其特征在于，包括：

获取多个图像中的任一图像包含的各个实体的真实边界框，所述实体为所述任一图像中包含的人或物品，所述多个图像对应多个场景；

采用正交试验方式通过场景图构造模型分别对所述任一图像进行实体检测处理，以确定所述任一图像对应的多个第一预测结果，所述第一预测结果包括所述各个实体的预测边界框；

基于所述各个实体的真实边界框、所述多个第一预测结果，计算得到所述任一图像对应的多个平均精度均值MAP，所述MAP用于表征所述场景构造模型预测所述各个实体的类别的准确程度；

采用所述正交试验方式通过所述场景图构造模型对所述各个实体进行实体关系预测处理，以获得所述任一图像对应的多个第二预测结果，所述第二预测结果包括所述任一图像对应的类别数召回率、各个实体之间的关系数召回率、三元组件的组件数召回率，所述三元组件为由所述各个实体构成的客体、主体以及所述客体与所述主体之间的关系组成的；

对所述任一图像对应的多个类别数召回率、各个实体之间的多个关系数召回率、三元组件的多个组件数召回率进行归一化处理，得归一化后的任一图像对应的多个类别数召回率、各个实体之间的多个关系数召回率、三元组件的多个组件数召回率；

获取预设的激活参数，所述激活参数包括三个第一权重参数和三个偏置参数，所述三个第一权重参数中的任一第一权重参数用于表征实体类别、实体关系、三元组件中的一个对所述场景图构造模型的结构变量的贡献程度，所述三个偏置参数中的任一偏置参数用于表征实体类别、实体关系、三元组件中的一个与所述场景图构造模型的正相关偏移的程度；

将所述归一化后的任一图像对应的多个类别数召回率、各个实体之间的多个关系数召回率、三元组件的多个组件数召回率以及所述三个第一权重参数和所述三个偏置参数，分别对应的输入所述任一图像对应的实体类别、实体关系、三元组件各自对应的激活模型，得到激活后的任一图像对应的多个类别数召回率、各个实体之间的多个关系数召回率、三元组件的多个组件数召回率；

基于所述激活参数以及所述归一化后的任一图像对应的多个类别数召回率、各个实体之间的多个关系数召回率、各个实体之间的多个组件数召回率，获得所述任一图像对应的实体类别、实体关系、实体组件分别对应的激活模型的多个相关系数矩阵；

基于所述任一图像对应的实体类别、实体关系、实体组件分别对应的激活模型的多个相关系数矩阵，计算得到所述激活后的任一图像对应的类别数召回率、各个实体之间的关系数召回率、三元组的组件数召回率各自对应的第二权重参数；

基于所述激活后的任一图像对应的多个类别数召回率、各个实体之间的多个关系数召回率、三元组件的多个组件数召回率，以及所述激活后的任一图像对应的类别数召回率、各个实体之间的关系数召回率、三元组件的组件数召回率各自对应的第二权重参数，计算得到所述任一图像对应的多个第一召回率；

对所述任一图像对应的多个MAP、多个第一召回率进行综合评估处理，得到评估结果，所述评估结果用于确定所述场景图构造模型中的各个结构和/或组合结构对构造场景图的影响程度。

2.如权利要求1所述的方法，其特征在于，对所述任一图像对应的多个MAP、多个第一召回率进行综合评估处理，得到评估结果，包括：

分别将所述任一图像对应的多个MAP、多个第一召回率一一对应的输入归一化模型中，得到所述任一图像对应的多个评估指标，所述评估指标用于表征所述场景图构造模型构造所述任一图像的准确程度；

分别将所述任一图像对应的多个评估指标输入几何平均模型中，得到所述场景图构造模型的多个综合指标，所述综合指标用于表征所述场景图构造模型构造所述任一图像的综合准确程度；

对所述多个综合指标进行综合评估处理，得到所述评估结果。

3.如权利要求2所述的方法，其特征在于，对所述多个综合指标进行评估处理，得到所述评估结果，包括：

根据最终正交表中的结构变量以及所述多个综合指标进行极差与方差的分析，得到所述评估结果，所述最终正交表为采用所述正交试验方式时使用的正交表。