[发明专利]基于近邻结构保持的哈希学习方法和装置

权利要求书

1.一种基于近邻结构保持的哈希学习方法，其特征在于，所述方法包括以下步骤：

S1、获取视频训练集，针对所述视频训练集中的每个训练视频，提取所述每个训练视频的M个帧级特征；

S2、采用自动编码器，提取每个训练视频的时域外观特征，并对所述时域外观特征进行聚类，得到锚点特征集合；

S3、针对每个训练视频，从所述锚点特征集合中获取每个训练视频对应的时域外观近邻特征；

S4、采用编码网络，根据所述时域外观近邻特征，将每个训练视频编码为对应的深度表达；

S5、根据使用激活函数的全链接层，将所述每个训练视频对应的深度表达，转化为一列二值码；

S6、采用译码网络，根据所述二值码重构出每个训练视频对应的M个重构帧级特征；

S7、根据每个训练视频对应的所述帧级特征和所述重构帧级特征，生成重构误差函数，并根据所述时域外观特征和所述二值码，生成近邻相似性误差函数；

S8、对网络进行训练，以使所述重构误差函数最小化，以及使所述近邻相似性误差函数最小化；其中，所述网络包括所述编码网络、所述全链接层和所述译码网络。

2.根据权利要求1所述的方法，其特征在于，每个训练视频具有a个时域外观近邻特征，分别为其中，i＝1，2，3，…，N，N为所述视频训练集中训练视频的个数；步骤S4具体包括：

S41、将每个训练视频对应的a个时域外观近邻特征，列向合并得到第一向量

S42、将所述第一向量映射为b维的近邻结构表达n_i，其中，FC表示全链接层映射；

S43、针对每个训练视频，在第一个时刻，将每个训练视频的第一帧帧级特征输入至所述编码网络，并将近邻结构表达n_i以如下方式嵌入至b维的记忆状态中：

其中，d为固定值，W^q、W^k、W^v为编码网络的参数值，表示列向合并，表示对应训练视频的第一个时刻输入的帧级特征，m_i,1表示第一个时刻对应的记忆状态；

S44、当有新的帧级特征输入至编码网络时，记忆状态按照如下方式进行更新：

其中，1t≤M，表示第t个时刻输入的帧级特征，m_i,t表示第t个时刻对应的记忆状态，m_i,t-1表示第t-1个时刻对应的记忆状态；

所述编码网络为LSTM网络，所述编码网络中的各个运算单元为：

其中，MLP表示多层映射，BN表示批规范化，W^iv、W^ih、W^fv、W^fh、W^ov、W^oh表示所述编码网络的参数值，⊙表示内积；其中，σ函数的计算方式为σ(x)＝1/(1+e^-x)；h_i,t-1表示第t-1时刻隐层的输出、h_it表示第t时刻隐层的输出；

S45，将最后一个时刻所得的隐层输出h_i,M，作为对应训练视频的深度表达；

其中，表示对应训练视频的帧级特征，θ表示编码网络的参数。

3.根据权利要求2所述的方法，其特征在于，根据使用激活函数的全链接层，将对应训练视频的深度表达进行转化，得到的一列二值码为：

b_i＝sgn(t_i)；

其中，t_i＝FC(h_i,M,k)；FC表示全链接层映射，sgn表示符号函数，当t_i大于0时，sgn(t_i)为1，当t_i小于或等于0时，sgn(t_i)为-1，k表示所述一列二值码的长度。

4.根据权利要求1所述的方法，其特征在于，所述视频训练集中包括N个训练视频，

所述重构误差函数为：

其中，表示第i个训练视频中的第m个帧级特征，表示第i个训练视频中的第m个重构帧级特征，l表示帧级特征的维度。