[发明专利]一种基于关联特性的重复视频检测方法与系统

说明书

技术领域

本发明属于计算机数据存储技术领域，更具体地，涉及一种基于关联特性的重复视频检测方法和系统。

背景技术

随着视频网站的出现，互联网上的视频数量和种类飞速增长，用户可以方便地通过网络上传或下载视频。但是在这些海量的网络视频中，存在着大量重复的或者近似重复的视频。已有研究表明，通过对特定关键词的视频搜索引擎的搜索结果进行分析，发现在搜索结果中平均存在27%的重复或近似重复的视频。对于个别查询结果，重复率甚至高达93%。这些大量重复的视频不仅浪费了存储空间，也给视频的有效管理带来不便，并且给用户在网络上搜索感兴趣的视频时返回过多的重复结果。因此为了提高网络视频的管理、搜索及浏览效率，需要高效的视频重复检测方法。

现有的重复视频检测方法存在以下问题：

(1)目前的研究仍然停留在提高查询结果准确度这一问题上，大部分方法都采用树形结构作为索引结构，没有更为有效的索引结构来支持快速查询。

(2)可扩展性差，当数据数目随着系统的扩展而变多时，现有方法的查询响应时间将显著增加。

(3)负载不均衡，对于不同类型的视频，索引结构差异很大，使得系统各个部分负载不均衡。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于关联特性的重复视频检测方法，旨在解决在海量存储系统中的重复视频检测问题，其能够充分地利用重复视频或近似视频间的关联特性，满足快速查询需求，并具有良好的可扩展性。

为实现上述目的，本发明提供了一种基于关联特性的重复视频检测方法，包括以下步骤：

(1)将视频数据服务器中的视频进行解码，提取关键帧；

(2)对上述关键帧提取局部特征点；

(3)将每个关键帧中的局部特征点映射到固定长度的特征向量中，每个关键帧一一对应一个固定长度的特征向量；

(4)对上述特征向量使用多个海明空间下的位置灵敏哈希函数计算得到其在索引表中的多个哈希值；

(5)根据得到的多个位置灵敏哈希函数值，按照Cuckoo Hashing机制构建本地索引表；

(6)本地索引表构建完成后，接收由控制节点转发的查询请求，在本地索引表上查询，并返回查询结果；其中，所述查询请求中包含有根据上述步骤(1)到(3)所生成的查询视频所对应的查询向量。

本发明方法利用重复视频或者近似视频之间的关联特性，对视频进行分组，将相同或相似的视频划分到索引表的同一集合之中，同时为了解决不同集合之间负载不均衡的问题，引入Cuckoo Hashing机制进一步使各个集合均匀的分布在整个索引表上，同时能够满足对于视频数据的高效查询操作。

进一步地，所述步骤(3)具体包括：

(3-1)对于每个关键帧，其中的每个局部特征点作为一个输入向量，该输入向量作为位置灵敏哈希函数的输入值；

(3-2)使用欧拉空间下的位置灵敏哈希函数对输入向量进行哈希计算，得到哈希值；

(3-3)根据得到的哈希值，修改固定长度特征向量的对应位及左右两个位共三个位的位值。

进一步地，所述步骤(5)具体包括：

(5-1)根据步骤（4）中得到的多个哈希值判断索引表中上述位置是否均已填充，若未填充，则将该特征向量插入空位；否则执行(5-2)；

(5-2)从这多个位置中随机选择一个位置；

(5-3)将待插入向量插入到该位置，将该位置中原有的向量踢出；

(5-4)对于本次插入过程，统计其整体的踢出次数是否超过阈值，若已经超过阈值，则重新选择哈希函数，重新建立索引表；否则将被踢出的向量作为输入向量返回(4)继续执行。

基于关联特性的海明空间下的位置灵敏哈希函数划分成的集合大小可能不同，这里我们对集合内的数据，再根据Cuckoo Hashing机制进一步在整个索引表中进行扁平哈希，合理解决哈希冲突，使得索引表整体上维护关联特性的同时，进而达到负载均衡的效果，并且有效提高了索引表的利用率。

进一步地，所述步骤(6)具体包括：

(6-1)根据位置灵敏哈希函数，计算每个查询向量的多个位置灵敏哈希函数值；

(6-2)根据得到的位置灵敏哈希函数值，在索引表中进行查找，得到结果向量，计算该查询向量同结果向量的海明距离；

(6-3)根据海明距离，计算该查询向量同结果向量对应的视频间的相似度；