[发明专利]基于局部随机敏感自编码器的哈希图像检索方法

权利要求书

1.基于局部随机敏感自编码器的哈希图像检索方法，其特征在于，包括以下步骤：

1)对图像数据库中的图像提取GIST特征，作为局部随机敏感自编码器模型的输入数据；

GIST特征提取是将图像划分为小区域块，随后对每个小区域块与不同方向和不同尺度的Gabor滤波器进行滤波，在每个小区域块内取平均值，最后将每个小区域块的平均值级联起来得到GIST特征，GIST特征表示为：

式中，X_n是指图像数据库中第n张图像的GIST特征，局部随机敏感自编码器模型将X_n作为训练样本，x₁,x₂,x₃,…,x_D分别是图像每个小区域块与各个Gabor滤波器进行滤波之后的平均值，共有N张图像；

2)建立局部随机敏感自编码器模型，将图像的GIST特征输入模型进行训练，包括以下步骤：

2.1)建立自编码器模型，表示为：

式中，R_MSE是指自编码器模型，X_n是指模型的训练样本，即步骤1)中得到的第n张图像的GIST特征，共有N张图像，是指X_n输入自编码器模型之后对应的模型的输出值，自编码器模型通过编码－解码的步骤输出与输入数据维度一致且尽可能相似的输出值，h(·)是模型编码层的输出，f(·)是模型解码层的输出；

2.2)根据局部随机敏感度，建立局部随机敏感自编码器模型；局部随机敏感度能够评估模型对训练样本与其对应的小幅扰动的样本之间差异的敏感性，通过将局部随机敏感度加入到模型中，通过训练，能够使模型学习到更好的特征值，增强模型的鲁棒性；在机器学习任务中，期望未知样本与训练样本的偏差距离在Q以内，否则，这个数据库并不适用于要研究的问题；假设与训练样本X_n偏差在[-Q,Q]范围内的扰动样本集合为S_Q(X_n)，能够将S_Q(X_n)表示为：

S_Q(X_n)＝{X|X＝X_n+ΔX}_Q

s.t.ΔX∈[-Q,Q]

式中，X是指扰动样本集合中的一个样本，ΔX是指扰动样本与训练样本X_n的偏差范围，Q是指扰动样本与训练样本的偏差距离；

建立的局部随机敏感自编码器模型表示为：

式中，R_LGE是指局部随机敏感自编码器，p(X_n)是指X_n在S_Q(X_n)中的未知概率密度函数；

局部随机敏感度是所有训练样本输入模型后的输出与其对应的扰动样本输入模型后的输出之间的均方误差的期望值：

式中，是指局部随机敏感度，X_n+ΔX是指与训练样本X_n偏差在[-Q,Q]范围内的扰动样本，E是指数学期望；

将概率为1-η的霍夫丁不等式应用到局部随机敏感自编码器中，得到：

式中，A是指自编码器解码输出值的上界，B是指自编码器解码输出值均方误差的上界，η是霍夫丁不等式的概率，共有N个训练样本，是指不等式的上界；

总的来说，局部随机敏感自编码器包括自编码器以及局部随机敏感度两个部分；对每个训练样本，生成H个在偏差范围[-Q,Q]内均匀分布的扰动样本，与训练样本一同输入局部随机敏感自编码器模型中进行训练；局部随机敏感自编码器能够表示为：

式中，每个训练样本共有H个对应的扰动样本；

2.3)将二值化约束加入到步骤2.2)建立的局部随机敏感自编码器模型中，训练样本输入模型后能够直接获得哈希编码，从而保留更多训练样本的特征信息，生成更高质量的哈希编码；将二值化约束加入到局部随机敏感自编码器模型后，模型的训练就成为了NP-hard的问题，大大增加了模型的训练难度，但通过引入辅助变量及交替优化的方法，将原本的NP-hard问题转化为可求解的问题，从而能够正常训练模型；加入二值化约束及辅助变量后，步骤2.2)中建立的局部随机敏感自编码器模型的目标函数最终表示如下：

s.t.Z_n∈{0,1}^L,n＝1,2,3,...,N

式中，argmin是指求解使得右边求和式取得最小值的参数值，其中待求解的参数值包括辅助变量Z_n以及局部随机敏感自编码器模型编码层的输出h(X_n)，Z_n是训练样本X_n对应的带有二值化约束的辅助变量，其维度与模型编码层的输出h(X_n)的维度一致，L是模型编码层中神经元的数量，μ与λ均是系数，在最小化该公式的过程中，通过逐渐增大μ，模型编码层的输出h(X_n)与辅助变量Z_n将越来越相似，即h(X_n)将越来越接近二值化，最终满足模型的二值化约束；

3)使用交替优化方法训练局部随机敏感自编码器模型，得到图像的哈希编码，包括以下步骤：

3.1)使用ITQ算法初始化局部随机敏感自编码器模型中的辅助变量Z_n，逐渐增大局部随机敏感自编码器模型目标函数中的系数μ与λ，在这个过程中，不断重复接下来的步骤，交替优化训练局部随机敏感自编码器模型，直到辅助变量不再变化且辅助变量与模型编码层输出相等时，模型训练完毕，停止训练，模型编码层的输出即为图像的哈希编码；

3.2)固定辅助变量Z_n，在编码过程中，训练L个支持向量机SVM，L是局部随机敏感自编码器模型编码层神经元的数量，每个支持向量机都作为模型编码层的一个神经元；

3.3)固定辅助变量Z_n，在解码过程中，由于在步骤2)建立的局部随机敏感自编码器模型中使用的是线性解码器，此时解码过程能够转换成线性回归问题：

式中，X_n是指模型的训练样本，即步骤1)中得到的第n张图像的GIST特征，共有N张图像，X_n+ΔX是指与训练样本X_n偏差在[-Q,Q]范围内的扰动样本，Q是指扰动样本与训练样本的偏差距离，每个训练样本共有H个对应的扰动样本，ΔX是指扰动样本与训练样本X_n的偏差范围，h(·)是指模型编码层的输出，f(·)是指模型解码层的输出，Z_n是训练样本X_n对应的带有二值化约束的辅助变量，μ与λ均是系数，W是模型编码层与解码层间的权值矩阵，b是解码层的偏置值；

上式属于最小平方问题，为便于计算，忽略偏置值b，其解为：

W＝YZ^T(ZZ^T+λ(h(Y+ΔX)-h(Y))(h(Y+ΔX)-h(Y))^T)^-1

式中，Y是指所有训练样本X_n组成的矩阵，Z是指所有与训练样本X_n对应的辅助变量Z_n组成的矩阵，Y+ΔX是指所有扰动样本组成的矩阵，ΔX是指扰动样本与训练样本X_n的偏差范围[-Q,Q]，Q是指扰动样本与训练样本的偏差距离，h(·)是指模型编码层的输出，T是指矩阵的转置；

3.4)固定局部随机敏感自编码器模型的权值矩阵与偏置值，优化辅助变量Z_n，此时，局部随机敏感自编码器模型目标函数中的部分变量为固定值，在使目标函数的值最小化的过程中不起作用，能够将目标函数重写为：

arg min||X_n-f(Z_n)||²+μ||Z_n-h(X_n)||²

式中，arg min是指求解使得右边求和式取得最小值的参数值，其中待求解的参数值包括辅助变量Z_n；通过枚举求出使上式右边求和式取得最小值的辅助变量Z_n；

4)计算图像哈希编码间的汉明距离，根据汉明距离进行升序排序，得到图像数据库中与检索的图像之间汉明距离最小的图像，即为与检索的图像最为相似的图像；

将要检索的图像的GIST特征向量输入步骤3)中训练完成的局部随机敏感自编码器模型，得到检索的图像对应的哈希编码；计算检索的图像的哈希编码与步骤3)中得到的图像数据库中所有图像的哈希编码之间的汉明距离，根据汉明距离进行升序排序，得到图像数据库中与检索的图像之间汉明距离最小的图像，即为与检索的图像最为相似的图像。