[发明专利]基于近邻结构保持的哈希学习方法和装置

说明书

本发明提出一种基于近邻结构保持的哈希学习方法和装置，其中，方法包括：获取视频训练集，并提取每个训练视频的M个帧级特征；提取每个训练视频的时域外观特征，对时域外观特征进行聚类，得到锚点特征集合；从锚点特征集合中获取每个训练视频对应的时域外观近邻特征；采用编码网络，根据时域外观近邻特征，将每个训练视频编码为对应的深度表达；将每个训练视频对应的深度表达转化为一列二值码；根据二值码重构出每个训练视频对应的M个重构帧级特征；生成重构误差函数和近邻相似性误差函数；对网络进行训练，以使重构误差函数和近邻相似性误差函数最小化。能够实现保证汉明空间中近邻结构的完好保存，提高大规模无监督视频数据库上的检索精度。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种基于近邻结构保持的哈希学习方法和装置。

背景技术

大规模视频检索，旨在从一个庞大的数据库中检索出与所给的询问视频相似的视频，一般情况下，视频可以用一系列采样得到的视频帧进行表示，并且，每帧视频帧可以由一个特征进行表示。在视频检索时，可以根据视频对应的特征集合，确定相关的视频。

在高维特征与海量数据面前，哈希方法在大规模视觉检索任务中取得了很大的成就，视频哈希将视频编码成致密的二值码，并保证视频空间的相似性结构，在汉明空间中得以保存。基于学习的视频哈希方法探索数据特性并取得了比手工设计的哈希方法更佳的性能，因为免除了人工标注的麻烦，无监督哈希相较有监督哈希在大规模视频检索任务中更加可行。

目前，大多数无监督哈希着眼于利用视频的表征与时序信息，但忽略了对近邻结构的利用，从而导致编码网络将毫无差别地吸收输入视频的内容，而不去辨别这些内容是否与近邻内容相似，这样并不利于近邻相似性的保存，从而在大规模无监督视频数据库上进行视频检索时，无法保证检索的精度。

发明内容

本发明提出一种基于近邻结构保持的哈希学习方法和装置，以实现保证汉明空间中近邻结构的完好保存，提高大规模无监督视频数据库上的检索精度，用于解决现有技术中无监督哈希着眼于利用视频的表征与时序信息，但忽略了对近邻结构的利用，无法保证视频检索的精度的技术问题。

本发明一方面实施例提出了一种基于近邻结构保持的哈希学习方法，包括：

S1、获取视频训练集，针对所述视频训练集中的每个训练视频，提取所述每个训练视频的M个帧级特征；

S2、采用自动编码器，提取每个训练视频的时域外观特征，并对所述时域外观特征进行聚类，得到锚点特征集合；

S3、针对每个训练视频，从所述锚点特征集合中获取每个训练视频对应的时域外观近邻特征；

S4、采用编码网络，根据所述时域外观近邻特征，将每个训练视频编码为对应的深度表达；

S5、根据使用激活函数的全链接层，将所述每个训练视频对应的深度表达，转化为一列二值码；

S6、采用译码网络，根据所述二值码重构出每个训练视频对应的M个重构帧级特征；

S7、根据每个训练视频对应的所述帧级特征和所述重构帧级特征，生成重构误差函数，并根据所述时域外观特征和所述二值码，生成近邻相似性误差函数；

S8、对网络进行训练，以使所述重构误差函数最小化，以及使所述近邻相似性误差函数最小化；其中，所述网络包括所述编码网路、所述全链接层和所述译码网络。