[发明专利]一种基于紧凑视频表征的视频拷贝检测方法

说明书

本发明属于数字媒体领域，提供一种基于紧凑视频表征的视频拷贝检测方法，包括：稠密提取库视频和查询视频的关键帧；提取所述库视频和查询视频的关键帧的图像稀疏特征；使用池化方式，将所述库视频和查询视频的图像稀疏特征分别进行融合，形成简洁视频特征。本发明的有益效果为：采用本发明能够准确描述视频信息，有效减少特征数量，大大提升检索阶段的速度；且本发明结合深度学习与传统方法，在保证准确匹配的基础上，减少了机器的性能负担，解决了现有技术的不足。

技术领域

本发明属于数字媒体领域，主要涉及一种基于紧凑视频表征的视频拷贝检测方法。

背景技术

随着视频版权问题受到越来越多的重视，如何快速甄别一段视频是否是另一段视频的拷贝，已成为数字媒体领域的一个关键性技术。拷贝视频可以是原视频，可以是原视频中截取的小片段，也可以是原视频中的一个片段与其他无关视频拼接。同时，拷贝视频可能被插入无关遮挡(字幕、台标等)、改变长宽比、改变颜色与亮度、改变分辨率、画中画、重新摄录等多种变形手段。使用一种有效的表征对视频进行描述，从而使得计算机能够快速准确地判断出一段查询视频是否是库视频的拷贝，并定位出拷贝的起始时间，是解决该问题的关键。

在视频拷贝检测问题中，目前有基于局部点特征和基于图像特征两种表征方式。为了避免过量的特征带来性能负担，两种方法的第一步都稀疏地对视频进行关键帧提取，例如，一秒视频采集一到两帧图像作为该视频片段的代表。之后，第一种方法会探查图像中有代表性的点，并提取特征加以描述，通过比对查询视频与库视频中点特征的相似度，将点映射回图像，图像映射回视频的方式，得到查询结果。第二种方法会对每幅关键帧提取一个图像特征进行描述，然后比对查询视频与库视频中的图像特征的相似度，映射回视频的时间轴，得到查询结果。针对不同的方法，国内外学者进行了一些深入的研究。如基于图像的后置时空滤波(参考Matthijs Douze，Herve J′egou，Cordelia Schmid在IEEETransactions on Multimedia 2010年第12卷第4册的257-266页发表的文章“An image-based approach to video copy detection with spatio-temporal post-filtering”)、SCNN(参考Yugang Jiang，Jiajun Wang在IEEE Transactions on Big Data 2016年第2卷第1册的32-42页发表的文章“Partial copy detection in videos：A benchmark and anevaluation of popular methods”)等方法被应用到视频拷贝检测中来。

出于对内存和查询时间代价的考虑，以上所提到的表征方式，均需要稀疏地对视频进行关键帧采样。然而，同一秒钟的帧图像，尽管相似但又有着不同的细节，若仅仅使用其中的一到两帧来表示该一秒钟片段，会损失掉部分信息，使得特征的描述能力降低，造成结果准确性下降。若进行稠密采样，则会使得相同视频得到的特征数量大大增加，导致计算时长大大增加，脱离实用性。

发明内容

本发明利用了深度学习与稀疏编码来解决现有技术存在的问题。本发明提供一种基于紧凑视频表征的视频拷贝检测方法，在提升特征描述能力的情况下，保证其紧凑性，即用一段短小紧凑的特征，就能很好描述一小段视频的信息。在本发明中，将稠密采集视频的关键帧，并对每张关键帧提取图像特征，之后使用特征融合的方式，将一个视频片段内的所有图像特征融合成一个对该片段的紧凑表征。

为了达到上述目的，本发明的技术方案为：