[发明专利]一种视频爬取过程中重复过滤的方法和设备

说明书

本发明提供了一种视频爬取过程中重复过滤的方法和设备，该方法包括以下步骤：获取预下载视频一定时间段的视频片段，并将视频片段按照阈值帧率进行图片帧对齐；每隔阈值帧数获取图片帧对齐后的视频片段的图片，并将所有图片进行相同范围的裁剪操作；获取裁剪后的每个图片的指纹，并按照顺序将每个图片的指纹进行合并，并将合并后的指纹与指纹库中的指纹进行比较；响应于合并后的指纹与指纹库中的指纹的比较结果为差异大于阈值，将预下载的视频进行下载并将合并后的指纹加入到指纹库中。通过使用本发明的方案，能够实现在视频完整下载前进行重复过滤，节省了存储完整视频所需要的存储空间，以及下载所需要的宝贵带宽和时间，提升了视频爬取效率。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种视频爬取过程中重复过滤的方法和设备。

背景技术

随着人工智能的快速发展以及以视频为载体的信息所占的比重越来越大，对视频的分析与推理成了人工智能最重要且最热门的应用，但在进行模型训练中，需要大量的视频数据来支撑。之前视频获取是使用爬虫从多个视频网站按照特定的规则解析视频URL链接，然后进行多线程下载的方式，但在实际应用中发现下载的视频中存在大量重复的情况，比如说某个电影在视频网站A或者视频网站B都存在，其重复情况为：有的是完全相同、有的仅仅是加了水印、而有的仅仅是清晰度稍有不同，其他都是一样的。针对这种重复的视频我们仅仅需要一份，视频去重可以在视频爬取下载后再进行，但因为视频文件大都比较大，会占用过多的存储空间、且浪费了宝贵的下载带宽和时间，因此迫切需要一种在爬取过程中进行去重的方法。

发明内容

有鉴于此，本发明实施例的目的在于提出一种视频爬取过程中重复过滤的方法和设备，通过使用本发明的方法，能够实现在视频完整下载前进行重复过滤，节省了存储完整视频所需要的存储空间，以及下载所需要的宝贵带宽和时间，提升了视频爬取效率。

基于上述目的，本发明的实施例的一个方面提供了一种视频爬取过程中重复过滤的方法，包括以下步骤：

获取预下载视频一定时间段的视频片段，并将视频片段按照阈值帧率进行图片帧对齐；

每隔阈值帧数(每秒钟的图片帧数量)获取图片帧对齐后的视频片段的图片，并将所有图片进行相同范围的裁剪操作；

获取裁剪后的每个图片的指纹，并按照顺序将每个图片的指纹进行合并，并将合并后的指纹与指纹库中的指纹进行比较；

响应于合并后的指纹与指纹库中的指纹的比较结果为差异大于阈值，将预下载的视频进行下载并将合并后的指纹加入到指纹库中。

根据本发明的一个实施例，获取预下载视频一定时间段的视频片段，并将视频片段按照阈值帧率进行图片帧对齐包括：

通过ffmpeg命令(高性能的开源音视频转换、录制工具库中的命令)预先下载视频的前5秒数据得到视频片段；

将视频片段进行图片帧的对齐，并将视频片段转换为帧率为25的视频片段。

根据本发明的一个实施例，每隔阈值帧数获取图片帧对齐后的视频片段的图片，并将所有图片进行相同范围的裁剪操作包括：

每隔25帧获取视频片段的图片；

将获取到的图片的边缘的一定区域进行裁剪以去除图片边缘区域的水印。

根据本发明的一个实施例，获取裁剪后的每个图片的指纹，并按照顺序将每个图片的指纹进行合并，并将合并后的指纹与指纹库中的指纹进行比较包括：

使用均值哈希算法(一种将图片生成64位指纹的哈希算法，图片越相似，生成的指纹越接近)获取裁剪后的图片的指纹；

按照获取图片的顺序将每个图片的指纹进行合并；

计算合并后的指纹与指纹库中的其他指纹的汉明距离(表示两个相同长度的字对应位不同的数量)。