[发明专利]一种视频样例比对的方法、系统、设备及存储介质

说明书

本发明公开了视频样例比对的方法、系统、设备及存储介质，用以解决现有空域的方法对噪声比较敏感，误检率、漏检率较高的问题。方法包括：得到原视频特征集；得到有效视频特征集；比对时，将有效视频特征进行比对，并输出比对结果。系统包括：特征提取网络模型构建单元、原视频特征集获取单元、通用无效特征底库构建单元、有效视频特征集获取单元、视频样例特征底库生成单元、新视频样例特征获取单元、比对单元和比对结果单元。计算机设备，包括：存储器、处理器，以及存储在存储器上并可在处理器上运行的计算机程序。

技术领域

本发明涉及计算机机器视觉技术领域，特别涉及基于视觉有效特征提取的视频样例比对的方法、系统、设备及存储介质。

背景技术

视频样例比对，又被称为视频同源比对，是指一个视频通过缩放、压缩、部分旋转、颜色变换、格式转换、部分裁剪、马赛克、模糊、贴标、弹幕遮挡等处理的视频或视频片段仍然与原视频来自同一个视频源头。

目前视频样例比对的方法基本分为两大类。

(1)基于原始时空域的方法，包括直接从时空域进行关键帧提取，局部敏感哈希(LSH)建立索引，或者提取颜色分布特征，HOG、SIFT等梯度特征来进行比对的方法，或者是时空域向频域转换之后提取的频率分布的方法，这类方法容易受到噪声的干扰，无法适应视频的各种变换操作，比如基于颜色分布特征的方法无法适应颜色变换的场景，HOG、SIFT等梯度特征的方法以及频率分布的方法无法有效适应弹幕、部分裁剪、马赛克、一定程度的模糊等场景，在实际算法应用中，往往会造成非常高的漏检率。

(2)基于视频高层语义特征提取的方法，其基本方法是不在原始的时空域进行特征提取，而是通过将原始的视频转换为较高语义层次的特征描述，然后在高层语义特征空间做比对。这类方法的好处是通过高层语义特征的提取，减少了原始空域噪声的影响，但是如果处理不当，很容易将视频样例比对任务扩大为视频主题检索任务。后者是检索同样场景的视频，而非同源的视频，这样造成的后果是比对过程中误检率大大提高。

非常常见的，视频中包含一些固定的片头片尾、或者由于场景转换造成的黑、白或纯文字画面，如果没有有效的筛选机制，样例比对效果也会大打折扣。视频可以看成是一系列前后顺序的视频帧序列，目前已有的技术方法都是在原始的时空域对这些视频帧进行筛选，这类方法降低了部分误检率，但是也遇到前面在时空域提取特征比对那样同样的问题，即对一些噪声和变换的适应性较差。为了提高特征提取和比对的效率，往往不是视频的每一帧都拿来做分析，那样计算要求过高，无法快速应对样例比对任务，而是基于原始视频前后帧的信息关联关系提取“关键帧”(视频解码中的I帧)，然后以I帧为基础去提取有效的视频帧子集完成后续的特征提取和样例比对任务。目前提取候选视频帧子集的方法，往往是基于前后帧差，或者在图像的空域建立特征，然后基于空域特征的相似度计算来完成候选视频帧子集的筛选，这样仍然没有摆脱空域处理的方法，而正如前面论述的那样，空域的方法对噪声比较敏感，提取候选视频帧子集也不够紧凑，无法更好地提高处理效率。

发明内容

本发明提供了一种视频样例比对的方法、系统、设备及存储介质，用以解决现有空域的方法对噪声比较敏感，误检率、漏检率较高的问题。

为达到上述目的，本发明提供以下技术方案：

第一部分，本发明实施例的一种视频样例比对的方法，包括下列步骤：S1、构建特征提取网络模型，对原视频样例进行特征提取，得到原视频特征集；S2、构建通用无效特征底库，对所述的原视频特征集进行筛选，得到有效视频特征集，并生成视频样例特征底库；S3、与新视频样例比对时，提取所述新视频样例的新视频样例特征；S4、将所述新视频样例特征与所述视频样例特征底库中的各有效视频特征逐一进行比对，并输出比对结果。

优选的，步骤S1中所述的特征提取网络模型是具有跨层连接结构的网络。