[发明专利]一种基于本体的半监督图像场景语义深化方法

权利要求书

1.一种基于本体的半监督图像场景语义深化方法，其特征在于，包括：

步骤S1，检测出图像中的实体，所述实体包括目标实体；

步骤S2，得到目标实体的场景信息，所述场景信息至少包括目标实体的组成部分；

步骤S3，将步骤S2的场景信息与实体本体库中的下位词进行匹配，并根据匹配结果对目标实体进行重命名，从而实现对目标实体的类别的语义深化。

2.根据权利要求1所述的基于本体的半监督图像场景语义深化方法，其特征在于，所述步骤S1包括：采用目标检测模型对图像进行实体检测，生成图像中所有实体的检测框以及实体的类别标签。

3.根据权利要求1所述的基于本体的半监督图像场景语义深化方法，其特征在于，所述步骤S2包括：

步骤S21，针对步骤S1所检测到的实体，采用场景理解模型检测实体之间的关系，生成关系三元组；

步骤S22，优化关系信息，去除误匹配关系，得到优化的每个目标实体的场景信息。

4.根据权利要求3所述的基于本体的半监督图像场景语义深化方法，其特征在于，在所述步骤S22中，采用实例分割模型对图像进行实例分割，实现在像素级识别实体轮廓的任务，得到实例分割结果，利用实例分割结果消除实体间的误匹配关系，由此得到优化后的目标实体的场景信息。

5.根据权利要求4所述的基于本体的半监督图像场景语义深化方法，其特征在于，所述步骤S22包括：

步骤S221，采用实例分割模型对图像进行实例分割，实现在像素级识别实体轮廓的任务，得到实例分割结果；

步骤S222，根据实例分割结果在步骤S21得到的关系三元组中过滤出待分析的关系三元组，得到具有作为主实体的目标实体和其从属实体的关系三元组，关系三元组的主实体与实例分割结果中的实体的类型相同；

步骤S223，将所述步骤S21得到的各个关系三元组中的从属实体的检测框分别放入实例分割结果中，计算实例分割结果中每个同种类型的主实体在所述从属实体的检测框中的像素占比，从中选取最大的像素占比并判断其是否大于一阈值，若最大的像素占比大于一阈值，则认定所述从属实体归属于实例分割结果中最大像素占比所对应的主实体；否则，认定所述从属实体不属于任何主实体；

步骤S224，将实例分割结果中最大像素占比所对应的主实体的检测框与所述从属实体在其关系三元组中的主实体的检测框通过计算交并比来进行匹配，若匹配成功则认定从属实体为其关系三元组中的主实体的组成部分；

步骤S225，根据步骤S224中的结果，去除所述组成部分与其关系三元组中的主实体之外的其他主实体间的关系，得到筛选后的关系三元组。

6.根据权利要求5所述的基于本体的半监督图像场景语义深化方法，其特征在于，所述步骤S22还包括：步骤S226，根据谓词的种类，从步骤S225中的筛选后的关系三元组中提取出与主实体有关的环境信息；

且所述场景信息还包括与目标实体有关的环境信息。

7.根据权利要求1所述的基于本体的半监督图像场景语义深化方法，其特征在于，所述步骤S3包括：

步骤S31，在一实体本体库中，查找作为主实体的目标实体的语义所对应的所有下位词，并在实体本体库的数据集中得到每个下位词的描述；

步骤S32，将所有下位词的描述与所述步骤S22得到的每个主实体的场景信息进行匹配以计算每个主实体与所有下位词的相似度，对于每个主实体，选取相似度最高的下位词，若相似度最高的下位词与该主实体匹配，则将该主实体重命名为相似度最高的下位词，否则，不对该主实体进行重命名。

8.根据权利要求7所述的基于本体的半监督图像场景语义深化方法，其特征在于，所述步骤S3还包括：步骤S33，若有其他实体属于主实体的一部分且在主实体的重命名过程贡献了有效信息，则重命名主实体后将该实体及该实体与主实体的关系信息删除。