[发明专利]结合重力传感器与图像特征点角度的图像特征查询方法

说明书

技术领域

本发明属于计算机技术领域，涉及一种结合重力传感器与图像特征点角度的局部特征聚合方法。

背景技术

局部特征聚合作为当前海量图像检索的重要研究内容，是一种对编码后的图像特征点进行聚合压缩的技术，通过将一张图像的多个特征点进行特征聚合，整张图像可以用单一向量来进行紧凑表征。当前主流的海量图像检索算法都采用词袋模型以及其变种算法，即将图像特征点通过特征编码映射成视觉单词来表征，视觉单词的获取通常采用K均值聚类等方法获取，而图像的整体表征则采用局部特征聚合技术将映射成视觉单词的特征点进行累积聚合。局部特征聚合方法的好坏，直接影响图像检索精度。

传统的局部特征聚合技术大多是将编码量化到同一视觉单词或者聚类中心上的特征进行简单的求和或者最值，参与聚合的特征点仅仅要求特征点描述符向量在欧式空间比较接近当前聚类中心。该类方法主要依赖聚类中心数目的提高来提升图像检索精度，也即增加视觉词典的维度。然而聚类中心数目的提升牺牲了训练时间，特征编码时间以及图像之间最近邻检索时间，并且对于较高的视觉词典，很多正确的匹配点可能会被分配到不同的聚类中心上，进而影响检索精度。

近年来，随着国内外对于局部特征聚合方法的深入研究，Jegou等人提出汉明嵌入的概念(Jegou,H.,M.Douze,et al.(2008).Hamming embedding and weak geometric consistency for large scale image search.Computer Vision–ECCV 2008,Springer:304-317.)，将编码后落在同一视觉单词上的特征点进行汉明编码，当且仅当汉明编码后的距离小于某一阈值的点才认为是一对匹配点，也即是在同一视觉单词上进一步细化了特征点的区分能力。相比单纯的增大词典维度，汉明嵌入的方式对于检索精度以及速度有了很大的提升。基于此思想，Zhao等人(Zhao W L,Jégou H,Gravier G.Oriented pooling for dense and non-dense rotation-invariant features[C]//BMVC-24th British Machine Vision Conference.2013.)提出根据特征点角度在同一视觉单词上将特征点进行分区聚合。然而由于图像的旋转会导致根据特征点角度划分的分区编号不固定，无法直接进行最近邻查找。Zhao提出采用遍历的方法穷举图像可能发生的旋转，在最近邻查找过程中根据两张图像可能发生的相对旋转，计算每种旋转情况下的距离，取距离最小值作为两张图像之间的距离。一方面，该方法根据图像可能发生的相对旋转，预估角度分区的对应情况，大大增加了最近邻查找过程中的计算量。另一方面对于图像发生的实际旋转不可能依靠穷举算法准确预估。另外，取距离最小值的方法会降低对不相似图像的惩罚，进而影响检索精度。

发明内容

有鉴于此，本发明提供了一种结合重力传感器与图像特征点角度的特征聚合方法，增大了图像表征的区分力，提高了图像检索精度。

为了达到上述目的，本发明的技术方案包括如下步骤：

步骤1：采用携带有重力传感器的摄像机采集目标图像，获得带有重力信息的图像样本，存入数据库中；重力信息具体为拍摄图像时摄像机坐标系的三个坐标轴x轴、y轴、z轴分别相对于与重力方向的夹角；其中z轴为垂直于摄像机成像面的轴，x、y轴形成的平面即为摄像机成像面。

将y轴正方向置于和重力方向一致，将此时摄像机位置作为基准位置，基准位置处重力信息为[g_x(0),g_y(0),g_z(0)]，以基准位置时图像旋转角度为0。

步骤2：依次以数据库中的各幅图像样本作为图像i进行如下步骤201～204的操作，形成对应所有图像样本的整体紧凑向量表征。

步骤201、对于图像i，采用特征提取算法对图像样本提取特征点，特征点中包含图像i的重力信息为[g_x(i),g_y(i),g_z(i)]。

步骤202、图像i的重力方向在相机坐标系中顺时针旋转角度α_i为：

将提取到的图像i中的所有特征点中的角度属性值都增加α_i，获得旋转后的图像i’。

步骤203、将图像i’中所有的图像特征点进行词袋模型训练，获取K个聚类中心。