[发明专利]一种基于深度学习和图论的拷贝视频检测方法

说明书

技术领域

本发明涉及多媒体信息处理技术领域关于拷贝视频检测的方法，其实质是图像帧相似性匹配和视频子序列相似性匹配方法，是一种能够适应多种不同编辑变换的视频检测方法。

背景技术

随着信息技术、视频采集设备和视频编辑软件的发展，视频数据呈现海量增长的趋势。与此同时，视频分享和视频推荐等视频相关服务的发展使用户可以更便捷地参与视频相关的活动。互联网上每天都有大量的视频被上传和下载，以YouTube视频网站为例，每分钟就有超过100小时数据量的视频被下载，在一些社交网站，每天同样有大量的视频被下载和分享，这就导致互联网上存在着大量的相似或者拷贝视频。相关研究结果显示，在YouTube，Google Video和Yahoo_Video上基于一些流行的关键词进行视频查询，返回结果中有将近27％的视频是相似视频。这些相似视频中除了部分是完全重复视频之外，更多的都是一些经过了视觉变换或者后期制作的拷贝视频。常见的视频编辑变换的方式包括缩放、裁剪、重编码、加边框、加字幕、亮度对比度变化以及插帧丢帧等。大量拷贝视频的产生给视频内容监管、视频版权保护、视频搜索引擎结果排序等多方面带来技术性的难题，因此需要一种拷贝视频检测技术来查找这些相同或者几乎相同的视频，这对于信息检索、版权保护等多方面都具有重要的意义。

利用计算机进行拷贝视频检测研究是近年来人们普遍关注的新兴研究课题，其涉及到的图像帧相似性匹配、视频子序列相似性匹配等技术已引起了越来越多学者和机构的关注。特别是图像帧相似性匹配已经作为一项重要任务出现在视频检索权威评测机构TRECVID的任务列表中。在2014年举办的第一届全国特定音视频检索识别挑战赛中，也将视频内容拷贝检测作为检测任务之一。目前，拷贝视频片段检测技术研究主要集中于基于视频图像帧特征的相似性匹配以及视频子序列的相似性匹配两方面。

基于视频图像帧特征的相似性匹配目前研究主要集中于基于图像帧的全局特征进行相似性匹配和基于图像帧的局部特征进行相似性匹配。图像帧的全局特征主要是指颜色、形状、纹理以及空间关系等全局视觉特征，将一幅图像帧信息用简单的向量进行表示。基于图像帧的全局特征进行相似性匹配的优点是计算简单，对包含相同内容或者变化不是很大的拷贝视频比较有效，但全局特征极易受到光照、裁剪等因素的干扰，很难应对经过了复杂编辑变换的拷贝视频，因此不够鲁棒。与全局特征相比，尺度不变特征转换(Scale Invariant Feature Transform，SIFT)局部特征、加速鲁棒特征(Speeded Up Robust Features，SURF)、ORB(Oriented FAST and Rotated BRIEF)等局部特征的鲁棒性要高很多，可以应对拷贝视频中的光照变换、几何变换等复杂的编辑变换。但是，基于图像帧的局部特征进行相似性匹配方法的复杂性以及局部描述子的高维度都使采用局部特征进行图像帧相似性匹配的时间消耗要比采用全局特征大很多，在应对大规模数据集时算法的效率不高。

对于视频子序列相似性匹配方面的研究主要包含两类：基于模板序列匹配的视频子序列相似性匹配和基于帧融合的视频子序列相似性匹配。基于模板序列匹配的视频子序列相似性匹配是指以待检测视频序列的长度为窗口长度，然后以一个步长在参考视频序列中依次滑动，度量窗口内对应视频序列的相似度值，找到整个滑动过程中相似度值最大的位置，如果此时的相似度值大于事先设定的阈值，则此时窗口中的序列即为对应的待检测视频和参考视频中的拷贝序列。基于模板序列匹配的视频子序列相似性匹配方法计算简单、容易实现，但它很难应对帧率改变、插帧、丢帧等视频编辑变换，而且在视频规模较大时，基于模板序列匹配的视频子序列相似性匹配方法时间复杂度较高。基于帧融合的视频子序列相似性匹配方法从待检测视频序列入手，对于待检测视频序列中的每一个图像帧，采用基于帧融合的视频子序列相似性匹配方法在参考视频图像帧中查找与待检测帧最相似的前K个图像帧。为所有的待检测图像帧都得到前K个最相似的参考视频图像帧后，再通过视频子序列的时序信息进行拷贝视频片段的判别和定位。基于帧融合的视频子序列相似性匹配方法能够应对视频帧率改变、插帧、丢帧等编辑变换，也能够解决视频中只存在部分拷贝片段的情况，但基于帧融合的视频子序列相似性匹配方法计算复杂，算法实现也比较难。