[发明专利]基于多模型的图像语义识别方法、系统、设备及介质

权利要求书

1.一种基于多模型的图像语义识别方法，其特征在于，包括：

获取图像，利用多种图像语义识别模型分别处理所述图像得到关于语义识别的多种识别结果；

按照所述识别结果相似配对，重新排列识别结果内的顺序将最相似的识别结果排列在相同顺序位置；

根据多种所述识别结果中根节点之间相似度和子节点之间相似度，计算每种所述图像语义识别模型中每个根节点与每个子节点的综合置信度；

根据所述根节点与子节点的综合置信度选择适应的语义描述作为所述图像的识别结果；

查找所有模型中综合置信度最高所对应的子节点；当所述子节点的综合置信度大于预设阈值时，则将该子节点的语义描述作为所述图像的识别结果；当所述子节点的综合置信度不大于预设阈值时，查找所有模型中综合置信度最高所对应的根节点，且将该根节点的语义描述作为所述图像的识别结果。

2.根据权利要求1所述的基于多模型的图像语义识别方法，其特征在于，所述利用多种图像语义识别模型分别处理所述图像得到关于语义识别的多种识别结果的步骤，还包括：

利用多种不同的图像语义识别模型处理同一幅所述图像，得到该图像关于语义识别多种识别结果，采用所述图像语义识别模型对应的根节点、子节点及置信度表示多种所述识别结果。

3.根据权利要求1所述的基于多模型的图像语义识别方法，其特征在于，所述按照所述识别结果相似配对的步骤包括：

将多种所述识别结果按预设规格进行语义转换生成相应的文本语义。

4.根据权利要求3所述的基于多模型的图像语义识别方法，其特征在于，所述将多种所述识别结果按预设规格进行语义转换生成相应的文本语义的步骤包括：

将多种图像语义识别模型对应的多个识别结果按照预设规格进行语义转换得到相应的文本语义；其中，所述预设规格包括预设的目标语言与预设的表述标准。

5.根据权利要求1所述的基于多模型的图像语义识别方法，其特征在于，利用文本语义来计算多种图像语义识别模型之间识别结果的相似分，重新排列识别结果内的顺序将最相似的识别结果排列在相同顺序位置。

6.根据权利要求5所述的基于多模型的图像语义识别方法，其特征在于，所述利用文本语义来计算多种图像语义识别模型之间识别结果的相似分，重新排列识别结果内的顺序将最相似的识别结果排列在相同顺序位置的步骤，包括：

基于文本语义计算每种图像语义识别模型中每个节点的识别结果与其它图像语义识别模型中所有同类型节点的识别结果之间的相似分；

选择计算结果中最大相似分所对应的节点作为两种图像语义识别模型配对的节点；

将配对的节点重新编号，按照同一幅所述图像在不同的图像语义识别模型语义最相似的识别结果排列在相同顺序位置。

7.根据权利要求1所述的基于多模型的图像语义识别方法，其特征在于，利用多种图像语义识别模型的识别结果中的感兴趣区域相对位置重合来计算相似分，重新排列识别结果内的顺序将最相似的识别结果排列在相同顺序位置。

8.根据权利要求7所述的基于多模型的图像语义识别方法，其特征在于，所述利用多种图像语义识别模型的识别结果中的感兴趣区域相对位置重合来计算相似分，重新排列识别结果内的顺序将最相似的识别结果排列在相同顺序位置的步骤，包括：

计算任意两幅所述图像识别结果之间的交并比，将其作为两个识别结果之间的相似分；

如果所述相似分大于预设相似分阈值，则所述两幅图像的两个识别结果相对应；如果所述相似分不大于预设相似分阈值，则所述两幅图像的两个识别结果不对应；

根据配对结果重新编号，按照同一幅所述图像在不同的图像语义识别模型配对的识别结果排列在相同顺序位置。