[发明专利]基于图像上下文信息的场景识别方法及装置

说明书

本发明提出了一种基于图像上下文信息的场景识别方法及系统，其中，该方法包括以下步骤：将预设图像划分为多个图像块，以提取每个图像块的图像块特征；根据每个图像块的图像块特征通过显著性模块生成序列信息，以得到图像块在语义上的相关关系；根据图像块在语义上的相关关系对每个图像块及其上下文信息进行编码，以得到上下文信息特征；以及获取全局表观信息，并根据全局表观信息和上下文信息特征得到特征表达信息，以得到场景识别结果。该方法能够充分利用图像上下文信息，将场景中物体特征与其上下文的特征进行场景识别，从而提高图像的特征表达能力。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于图像上下文信息的场景识别方法及装置。

背景技术

近年来，场景识别在计算机视觉领域得到了广泛关注，并且在机器人视觉，无人驾驶等应用中起着重要的作用。通常，场景是由特定物体按照某种布局组合而成，因此场景包含了多种信息，包括整体布局信息，所组成的物体信息以及物体之间的相关关系。尽管在场景识别领域有很多研究工作，但是开发出同时捕获场景中包含的多种信息的算法仍然是非常具有挑战性的任务。

场景识别的核心部分在于对场景的特征表达，现有的大部分工作可以分为主要的两大类：基于人工的特征表达和基于深度学习的特征表达。基于人工特征的方法主要是针对于图像特点以及任务，设计合理的特征描述子对图像进行表征。然而，这种方法只能捕捉场景图像低水平的表观特征，不足以充分表达复杂的场景，而且设计描述子需要大量的先验知识，计算量较大，实际应用价值较低。

相比之下，很多研究者都着手于深度特征学习的方法，通过网络自身学习图像特征。这种基于学习的方法不仅取代了手工设计的特征而且可以提取更高层水平以及多元信息的图像表达。在相关技术中存在以下几种情况：第一种，依赖于深度神经网络挖掘图像的全局特征，利用网络高层特征作为整张图像的表观信息；第二种，考虑到充分利用深度网络的多层特征，利用网络多个低层卷积层的特征和高层全连接层的特征聚合在一起，提高网络对特征的表达能力。针对于上述整张图像的操作，这些特征都不具有局部鲁棒性。为了实现图像局部特征的不变性，有些相关技术将图像分割成多个图像块，对每个图像块利用已经训练好的网络模型提取特征，最后聚合在一起。另外，场景中所包含物体的尺度大小不一，为了实现物体特征尺度不变性，相关技术还引入了多个网络，每个网络对应于不同尺度图像进行训练，最后将多个不同尺度图像特征结合在一起，提高特征判别性能。此外，有些研究者针对于场景中所组成物体的分布特性实现分类，有发明提出一种OOM网络统计场景中所出现物体的概率分布，以此作为特征区分不同场景。虽然表观特征和物体分布特征对实现分类起着重要作用，但是这些信息不充分表达一些相似场景的特征。从图1可以发现，若仅考虑图像整体的布局信息或者场景图像所组成的物体，很难将一些相似场景正确分类。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于图像上下文信息的场景识别方法。该方法可以提高图像的特征表达能力，并大大提高场景识别的准确性。

本发明的另一个目的在于提出一种基于图像上下文信息的场景识别装置。

为达到上述目的，本发明一方面提出了基于图像上下文信息的场景识别方法，包括以下步骤：将预设图像划分为多个图像块，以提取每个图像块的图像块特征；根据所述每个图像块的图像块特征通过显著性模块生成序列信息，以得到图像块在语义上的相关关系；根据所述图像块在语义上的相关关系对所述每个图像块及其上下文信息进行编码，以得到上下文信息特征；以及获取全局表观信息，并根据所述全局表观信息和所述上下文信息特征得到特征表达信息，以得到场景识别结果。

本发明实施例的基于图像上下文信息的场景识别方法，通过融合图像全局表观信息以及局部上下文信息，充分利用图像上下文信息，联合场景中物体特征与其上下文的特征，有效利用多方面特征提高网络对场景的表达能力提高特征的判别能力，很大程度上提高了性能。